Data Engineer in Poznań

Poszukujemy Inżyniera Danych (Databricks / Spark), który dołączy do zwinnego, skoncentrowanego na inżynierii zespołu budującego nową platformę danych dla globalnej firmy technologicznej zajmującej się płatnościami. W tej roli będziesz ściśle współpracować z naszym liderem technicznym oraz inżynierami klienta, aby budować potoki Databricks na AWS w architekturze medalionowej, rozwijać struktury ClickHouse do analityki w czasie rzeczywistym oraz odpowiadać za jakość swojego kodu od początku do końca, od testów automatycznych po kontrole jakości danych, jednocześnie zapewniając pragmatyczne wsparcie dla legacy platformy Hadoop.

Obowiązki:

• Nowa Platforma Rozwoju: Budowanie potoków i transformacji danych na Databricks na AWS, rozwijanie warstw Brązowej, Srebrnej i Złotej jako część platformy, która jednoczy podejście inżynieryjne w wielu zastosowaniach.
• Wydajność Spark: Rozwój i optymalizacja obciążeń Spark / PySpark, w tym tych związanych z miesięcznymi raportami dla około 40 000 sprzedawców.
• Analityka w Czasie Rzeczywistym: Budowanie struktur analitycznych i wchłaniania ClickHouse dla przypadków użycia o niskiej latencji.
• Własność Jakości Inżynieryjnej: Implementacja testów automatycznych, testów integracyjnych i kontroli jakości danych samodzielnie, bez dedykowanego QA w zespole, oraz udział w przeglądach kodu.
• Wsparcie Legacy Platformy: Rozwiązywanie problemów produkcyjnych i dostarczanie ukierunkowanych poprawek w legacy platformie Hadoop z źródłami opartymi na plikach i strumieniami Kafka (około 10% czasu).
• Wielokrotne Wzorce: Wkład w wspólne wzorce inżynieryjne, które staną się standardem dla nowej platformy, z potencjalnym rozwojem w AI/ML i MLOps.

Wymagania:

• Doświadczenie komercyjne w inżynierii danych, budowaniu produkcyjnych potoków danych i transformacji.
• Databricks: Praktyczne doświadczenie w budowaniu potoków i obciążeń na Databricks.
• Spark / PySpark: Silne umiejętności praktyczne w rozwijaniu i optymalizacji obciążeń Spark.
• Python i SQL: Silne umiejętności programistyczne w Pythonie i SQL.
• Myślenie o Jakości: Umiejętność posiadania automatycznych testów i walidacji jakości danych jako część codziennej dostawy.

Miłe do posiadania:

• Automatyzacja Testów Platformy Danych: Silne doświadczenie w budowaniu automatycznych testów dla platform danych.
• Hadoop i Streaming: Wiedza o ekosystemie Hadoop, Kafka i danych strumieniowych.
• ClickHouse: Doświadczenie z ClickHouse do analityki w czasie rzeczywistym lub o niskiej latencji.
• AI/ML i MLOps: Podstawy AI/ML i MLOps, w tym Databricks MLOps.
• Chmura i Dostawa: Doświadczenie z AWS, Delta Lake, CI/CD i optymalizacją wydajności.

Oferujemy:

• Możliwość pracy nad nowatorskimi projektami.
• Pracę z wysoko zmotywowanym i zaangażowanym zespołem.
• Konkurencyjne wynagrodzenie.
• Elastyczny grafik.
• Pakiet benefitów - ubezpieczenie zdrowotne, sport.
• Firmowe wydarzenia społeczne.
• Możliwości rozwoju zawodowego.
• Dobrze wyposażone biuro.

O nas: Grid Dynamics (NASDAQ: GDYN) jest wiodącym dostawcą usług doradztwa technologicznego, inżynierii platform i produktów, AI oraz zaawansowanej analityki. Łącząc wizję techniczną z zmysłem biznesowym, rozwiązujemy najważniejsze wyzwania techniczne i umożliwiamy pozytywne wyniki biznesowe dla przedsiębiorstw przechodzących transformację biznesową. Kluczowym wyróżnikiem Grid Dynamics jest nasze 8-letnie doświadczenie i przywództwo w dziedzinie AI dla przedsiębiorstw, wspierane przez głęboką wiedzę i ciągłe inwestycje w dane, analitykę, chmurę i DevOps, modernizację aplikacji oraz doświadczenie klienta. Założona w 2006 roku, Grid Dynamics ma siedzibę w Dolinie Krzemowej z biurami w Amerykach, Europie i Indiach.