Senior Data Engineer in Warsaw

Witamy w The Codest - międzynarodowej firmie technologicznej, która dostarcza globalne rozwiązania IT i projekty. Nasze wartości opierają się na podejściu "Klient i Ludzie na Pierwszym Miejscu", które priorytetowo traktuje potrzeby naszych klientów oraz współpracującą atmosferę dla naszych pracowników, co pozwala nam dostarczać wyjątkowe produkty i usługi.

Nasza ekspertyza koncentruje się na rozwoju aplikacji internetowych, inżynierii chmurowej, DevOps i jakości. Po wielu latach rozwijania naszego własnego produktu - Yieldbird, który został uhonorowany tytułem laureata prestiżowych nagród Top25 Deloitte, dotarliśmy do naszej misji: pomóc firmom technologicznym budować wpływowe produkty i skalować ich zespoły IT poprzez zwiększenie wydajności dostarczania IT.

Jeśli jesteś osobą zorientowaną na cel i szukasz nowych możliwości, dołącz do naszego zespołu! Czeka na Ciebie wzbogacające i współpracujące środowisko, które wspiera Twój rozwój na każdym kroku.

Jako Senior Data Engineer będziesz miał okazję przyczynić się do platformy bankowej jednego z wiodących japońskich grup finansowych. Platforma obejmuje moduły bankowe, funkcje zarządzania danymi oraz aplikacje skierowane do klientów. Zespół Data Flow wspiera obszar administracji funduszy, integrując wewnętrzne, hostowane przez dostawców i zewnętrzne systemy. Przepływy danych są uruchamiane przez określone zasady lub zdarzenia, z częstotliwością od co dziesięć minut do miesięcznie.

Kluczowe obowiązki:

• Projektowanie i wdrażanie procesów przetwarzania danych na podstawie wymagań biznesowych i technicznych, w tym transformacja, walidacja i mapowanie danych.
• Budowanie i utrzymywanie integracji między różnymi źródłami i miejscami docelowymi danych, w tym API, bazami danych SQL, bucketami S3 i serwerami SFTP.
• Rozwijanie i modyfikowanie istniejących przepływów ETL i przepływów danych.
• Przetwarzanie i synchronizacja danych w różnych systemach i formatach.
• Przeprowadzanie kompleksowych testów i walidacji w celu zapewnienia dokładności, integralności i niezawodności dostarczania danych.
• Zapewnienie wsparcia po wdrożeniu i rozwiązywanie problemów z integracją danych.
• Współpraca z interesariuszami biznesowymi w celu zbierania wymagań i wspierania procesów produkcyjnych w razie potrzeby.

Wymagania (umiejętności i doświadczenie):

• Zaawansowane umiejętności języka angielskiego, zarówno w mowie, jak i piśmie, do współpracy w międzynarodowym zespole.
• 5+ lat praktycznego doświadczenia z narzędziami ETL i procesami inżynierii danych w profesjonalnym środowisku.
• Silne umiejętności SQL i doświadczenie w pracy z bazami danych oraz przepływami integracji danych.
• Doświadczenie komercyjne z Pythonem w zakresie przetwarzania danych i skryptowania.
• Doświadczenie w projektowaniu, rozwijaniu i utrzymywaniu przepływów danych z różnych źródeł i miejsc docelowych.
• Umiejętność rozumienia złożonych przepływów danych, struktur kodu i logicznych przepływów pracy.
• Doświadczenie w współpracy z programistami i interesariuszami biznesowymi w międzynarodowym środowisku.
• Wysoka dbałość o szczegóły i zaangażowanie w dokładność i niezawodność danych.
• Silne umiejętności komunikacyjne i zdolność do angażowania się z interesariuszami na różnych poziomach organizacyjnych.

Miło widziane:

• Doświadczenie z Apache NiFi w zakresie budowania i utrzymywania przepływów danych.
• Znajomość Databricks, szczególnie w zakresie wdrażania nowych integracji danych.
• Doświadczenie z chmurowymi usługami przechowywania danych, w tym AWS S3.

Proces rekrutacji:

• Rozmowa wstępna (30 min)
• Rozmowa techniczna (60 min)
• Rozmowa z liderem zespołu (60 min)
• Oferta

Masz pytania lub wątpliwości? Skontaktuj się z naszym zespołem rekrutacyjnym: ewa.szczodrak@thecodest.co. W międzyczasie zapraszamy do odwiedzenia naszej strony internetowej, gdzie znajdziesz kluczowe informacje o nas.