W skrócie
- Zadania: Twórz potoki danych na Databricks i rozwijaj struktury ClickHouse dla analityki w czasie rzeczywistym.
- Firma: Globalna firma technologiczna zajmująca się płatnościami z zespołem inżynieryjnym.
- Benefity: Konkurencyjne wynagrodzenie, elastyczny grafik, ubezpieczenie zdrowotne i możliwości rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju w AI/ML i MLOps.
- Dlaczego ta praca: Pracuj nad nowoczesnymi projektami i wpływaj na przyszłość technologii płatniczych.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz umiejętności programowania w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 49500 - 60500 zł za rok.
Opis: Poszukujemy inżyniera danych (Databricks / Spark), który dołączy do małego, skoncentrowanego na inżynierii zespołu budującego nową platformę danych dla globalnej firmy technologicznej w obszarze płatności. W tej roli będziesz ściśle współpracować z naszym liderem technicznym oraz inżynierami klienta, aby budować potoki Databricks na AWS w architekturze medalionowej, rozwijać struktury ClickHouse do analityki w czasie rzeczywistym oraz odpowiadać za jakość swojego kodu od początku do końca, od testów automatycznych po kontrole jakości danych, jednocześnie zapewniając pragmatyczne wsparcie dla legacy platformy Hadoop.
Zadania:
- Budowanie potoków i transformacji danych na Databricks na AWS, rozwijając warstwy Bronze, Silver i Gold jako część platformy, która jednoczy podejście inżynieryjne w wielu zastosowaniach.
- Rozwój i optymalizacja obciążeń Spark / PySpark, w tym tych, które są podstawą miesięcznych raportów dla około 40 000 sprzedawców.
- Budowanie struktur do pobierania i analizy ClickHouse dla przypadków użycia o niskiej latencji.
- Implementacja testów automatycznych, testów integracyjnych i kontroli jakości danych samodzielnie, bez dedykowanego QA w zespole, oraz udział w przeglądach kodu.
- Rozwiązywanie problemów produkcyjnych i dostarczanie ukierunkowanych poprawek w legacy platformie Hadoop z źródłami opartymi na plikach i strumieniach Kafka (około 10% czasu).
- Wkład w wspólne wzorce inżynieryjne, które staną się standardem dla nowej platformy, z potencjalnym rozwojem w kierunku AI/ML i MLOps.
Wymagania:
- Doświadczenie komercyjne w inżynierii danych, budowaniu produkcyjnych potoków danych i transformacji.
- Praktyczne doświadczenie w budowaniu potoków i obciążeń na Databricks.
- Silne umiejętności praktyczne w rozwijaniu i optymalizacji obciążeń Spark.
- Silne umiejętności programowania w Pythonie i SQL.
- Umiejętność samodzielnego przeprowadzania testów automatycznych i walidacji jakości danych jako część codziennej dostawy.
Bedzie plusem:
- Silne doświadczenie w budowaniu testów automatycznych dla platform danych.
- Znajomość ekosystemu Hadoop, Kafka i danych strumieniowych.
- Doświadczenie z ClickHouse do analityki w czasie rzeczywistym lub o niskiej latencji.
- Podstawy AI/ML i MLOps, w tym Databricks MLOps.
- Doświadczenie z AWS, Delta Lake, CI/CD i optymalizacją wydajności.
Warunki:
- Możliwość pracy nad nowatorskimi projektami.
- Praca z wysoko zmotywowanym i zaangażowanym zespołem.
- Konkurencyjne wynagrodzenie.
- Elastyczny grafik.
- Pakiet benefitów - ubezpieczenie zdrowotne, sport.
- Firmowe wydarzenia społeczne.
- Możliwości rozwoju zawodowego.
- Biuro dobrze wyposażone.
Data Engineer in Payments in Warsaw – pracodawca: Grid Dynamics
Grid Dynamics w Warszawie to doskonały pracodawca, który oferuje elastyczne godziny pracy oraz dynamiczne środowisko sprzyjające rozwojowi zawodowemu. Pracując z nami jako Senior Big Data Engineer, będziesz miał okazję współpracować z utalentowanym zespołem, rozwijając swoje umiejętności w zakresie technologii big data, takich jak Spark i Scala, w inspirującej atmosferze innowacji i współpracy.
