Data Platform Engineer in Gdańsk

Poszukujemy inżyniera platform danych, który dołączy do programu współinnowacji budującego fundamenty danych i MLOps dla systemów bezpieczeństwa w zakresie łagodzenia kolizji w autonomicznych pojazdach górniczych i budowlanych, dla globalnego producenta ciężkiego sprzętu oraz pioniera w dziedzinie maszyn autonomicznych. W tej roli będziesz pracować z zespołami ML, aby zaprojektować i zarządzać wielowarstwową platformą danych AWS, która zasila trening modeli bezpieczeństwa i fundamentów, przetwarzając telemetryczne dane z czujników, wyniki symulacji oraz oznaczone zestawy danych na dużą skalę, a Twoja praca bezpośrednio wpłynie na jakość treningu, integralność oceny i powtarzalność modeli.

Obowiązki:

• Architektura Medallion i Ingestia Zdarzeń: Zaprojektuj i wdroż medallionową architekturę danych na AWS S3 z zasadami promowania warstw wymuszonymi przez IAM, zastępując ręczne wyzwalacze ingestii zdarzeniami i logiką odkrywania danych, która gwarantuje pełne przechwytywanie.
• Harmonizacja i Brama Danych Polowych: Zbuduj warstwę adaptera, która konwertuje heterogeniczne źródła na format kanoniczny zachowując temporalne metadane, kalibrację czujników i kontekst przestrzenny, plus bramę dla telemetrycznych danych z rzeczywistego świata z automatycznym usuwaniem PII i dostosowaniem częstotliwości czujników.
• Wersjonowanie, Linia i Podziały Bez Wycieku: Wdroż centralny rejestr metadanych z niezmiennym wersjonowaniem zestawów danych i rozgałęzieniem na poziomie warstwy, wymuszaj partycjonowanie na poziomie epizodu dla ścisłych podziałów treningowych/walidacyjnych oraz ustanów łańcuchy pochodzenia od surowych danych przez przetworzone zestawy danych i uruchomienia treningowe do artefaktów modeli.
• Bramki Jakości i Obserwowalność: Zbuduj automatyczne bramki walidacji schematu i konfigurowalne wyłączniki, które zatrzymują uszkodzone dane przed przejściem między warstwami, oraz zintegrowany pulpit nawigacyjny śledzący wskaźniki ingestii i odrzucenia, błędy walidacji, przepustowość augmentacji i opóźnienia.
• Rządzone Augmentacje i Umowy Gotowości Treningowej: Zintegruj pipeline augmentacji danych jako zarządzany etap przepływu z pełną linią pochodzenia od danych źródłowych przez parametry augmentacji do wyjścia, oraz zdefiniuj z zespołami ML umowy dotyczące kompletności schematu, okna czasowego, progów jakości oznaczeń i bramek zatwierdzających.
• Od Pilota do Platformy: Udowodnij end-to-end narzędzie, od ingestii danych do treningu modelu bezpieczeństwa, na pierwszym pilotażowym przepływie pracy, takim jak zarządzanie stosem materiałów w ładowarce kołowej, a następnie skaluj to jako fundament dla dalszych przypadków użycia autonomii.

Wymagania:

• 5+ lat doświadczenia w budowaniu produkcyjnych pipeline'ów danych i platform danych.
• Usługi Danych AWS: Głęboka wiedza na temat S3, EventBridge, Step Functions, FSx dla Lustre, CloudWatch i IAM, z biegłością w IaC i praktykami GitOps.
• Przetwarzanie Rozproszone i Python: Praktyczne doświadczenie z Ray lub Spark oraz silne umiejętności w Pythonie do budowania pipeline'ów ETL/ELT na dużą skalę.
• Formaty i Ingestia Zdarzeń: Solidna wiedza na temat formatów kolumnowych i binarnych (Parquet, HDF5) oraz architektur ingestii zdarzeń.
• Wersjonowanie i Linia: Praktyczne doświadczenie z LakeFS, DVC, Delta Lake lub równoważnymi narzędziami do wersjonowania zestawów danych i linii pochodzenia.
• Ramki Jakości Danych: Udowodnione doświadczenie w projektowaniu walidacji schematu, wyłączników i monitorowania wskaźników odrzucenia.
• Śledzenie Eksperymentów: Znajomość MLflow lub równoważnego systemu rejestracji artefaktów i śledzenia eksperymentów.

Miło widziane:

• Dane Czujników Robotyki: Doświadczenie z formatami danych systemów autonomicznych, takimi jak torby ROS, LiDAR, IMU i strumienie kamer.
• Tło Lakehouse: Poprzednia praca z architekturami medallionowymi lub lakehouse.
• Generatywna Augmentacja: Ekspozycja na narzędzia takie jak NVIDIA Cosmos, pipeline'y oparte na Stable Diffusion lub podobne.
• Domeny Krytyczne dla Bezpieczeństwa: Doświadczenie w regulowanych lub krytycznych dla bezpieczeństwa środowiskach danych, takich jak motoryzacja, lotnictwo lub autonomia przemysłowa.

Oferujemy:

• Możliwość pracy nad nowatorskimi projektami.
• Pracę z wysoko zmotywowanym i zaangażowanym zespołem.
• Konkurencyjne wynagrodzenie.
• Elastyczny grafik.
• Pakiet benefitów - ubezpieczenie zdrowotne, sport.
• Firmowe wydarzenia społeczne.
• Możliwości rozwoju zawodowego.
• Biuro dobrze wyposażone.

O nas: Grid Dynamics (NASDAQ: GDYN) jest wiodącym dostawcą usług doradztwa technologicznego, inżynierii platform i produktów, AI oraz zaawansowanej analityki. Łącząc wizję techniczną z zmysłem biznesowym, rozwiązujemy najpilniejsze wyzwania techniczne i umożliwiamy pozytywne wyniki biznesowe dla przedsiębiorstw przechodzących transformację biznesową. Kluczowym wyróżnikiem Grid Dynamics jest nasze 8-letnie doświadczenie i przywództwo w dziedzinie AI w przedsiębiorstwach, wspierane przez głęboką wiedzę i ciągłe inwestycje w dane, analitykę, chmurę i DevOps, modernizację aplikacji oraz doświadczenie klienta. Założona w 2006 roku, Grid Dynamics ma siedzibę w Dolinie Krzemowej z biurami w Amerykach, Europie i Indiach.