Data Platform Engineer in Wrocław

Poszukujemy inżyniera platform danych, który dołączy do programu współinnowacji budującego fundamenty danych i MLOps dla systemów bezpieczeństwa w zakresie łagodzenia kolizji w autonomicznych pojazdach górniczych i budowlanych, dla globalnego producenta ciężkiego sprzętu oraz pioniera w dziedzinie maszyn autonomicznych. W tej roli będziesz pracować z zespołami ML, aby zaprojektować i zarządzać wielowarstwową platformą danych AWS, która zasila trening modeli bezpieczeństwa i fundamentów, przetwarzając telemetryczne dane z czujników, wyniki symulacji oraz oznaczone zestawy danych na dużą skalę, a Twoja praca bezpośrednio wpłynie na jakość treningu, integralność oceny i powtarzalność modeli.

Obowiązki:

• Architektura Medallion i Ingestia Sterowana Wydarzeniami: Zaprojektuj i wdrażaj architekturę danych medallion na AWS S3 z zasadami promowania warstw wymuszonymi przez IAM, zastępując ręczne wyzwalacze ingestii zautomatyzowanymi potokami zdarzeń i logiką odkrywania danych, która gwarantuje pełne przechwytywanie.
• Harmonizacja i Brama Danych Polowych: Zbuduj warstwę adaptera, która konwertuje heterogeniczne źródła na format kanoniczny zachowujący metadane czasowe, kalibrację czujników i kontekst przestrzenny, plus bramę dla telemetrycznych danych z rzeczywistego świata z automatycznym usuwaniem PII i dostosowaniem częstotliwości czujników.
• Wersjonowanie, Linia i Podziały Bez Wycieku: Wdrożenie centralnego rejestru metadanych z niezmiennym wersjonowaniem zestawów danych i rozgałęzieniem na poziomie warstwy, egzekwowanie podziałów na poziomie epizodu dla ścisłych podziałów treningowych/walidacyjnych oraz ustanowienie łańcuchów pochodzenia od surowych danych przez przetworzone zestawy danych i uruchomienia treningowe do artefaktów modelu.
• Bramki Jakości i Obserwowalność: Zbuduj zautomatyzowane bramki walidacji schematu i konfigurowalne wyłączniki, które zatrzymują uszkodzone dane przed przejściem między warstwami, oraz jednolity pulpit nawigacyjny śledzący wskaźniki ingestii i odrzucenia, awarie walidacji, przepustowość augmentacji i opóźnienia.
• Rządzone Augmentacje i Umowy Gotowości Treningowej: Zintegruj potok augmentacji danych jako zarządzany etap przepływu z pełnym pochodzeniem od danych źródłowych przez parametry augmentacji do wyjścia, oraz zdefiniuj z zespołami ML umowy dotyczące kompletności schematu, okna czasowego, progów jakości oznaczeń i bramek zatwierdzających.
• Od Pilota do Platformy: Udowodnij narzędzie end-to-end, od ingestii danych do treningu modelu bezpieczeństwa, na pierwszym pilotażowym przepływie pracy, takim jak zarządzanie stosem materiałów w ładowarce kołowej, a następnie skaluj to jako fundament dla dalszych przypadków użycia autonomii.

Wymagania:

• 5+ lat doświadczenia w budowaniu produkcyjnych potoków danych i platform danych.
• Usługi Danych AWS: Głęboka wiedza na temat S3, EventBridge, Step Functions, FSx dla Lustre, CloudWatch i IAM, z biegłością w IaC i praktykach GitOps.
• Przetwarzanie Rozproszone i Python: Praktyczne doświadczenie z Ray lub Spark oraz silne umiejętności w Pythonie do budowania potoków ETL/ELT na dużą skalę.
• Formaty i Ingestia Sterowana Wydarzeniami: Solidna wiedza na temat formatów kolumnowych i binarnych (Parquet, HDF5) oraz architektur ingestii sterowanej wydarzeniami.
• Wersjonowanie i Linia: Praktyczne doświadczenie z LakeFS, DVC, Delta Lake lub równoważnymi narzędziami do wersjonowania zestawów danych i linii.
• Ramki Jakości Danych: Udowodnione doświadczenie w projektowaniu walidacji schematu, wyłączników i monitorowania wskaźników odrzucenia.
• Śledzenie Eksperymentów: Znajomość MLflow lub równoważnego systemu rejestracji artefaktów i śledzenia eksperymentów.

Miło widziane:

• Dane z Czujników Robotyki: Doświadczenie z formatami danych systemów autonomicznych, takimi jak torby ROS, LiDAR, IMU i strumienie kamer.
• Tło Lakehouse: Poprzednia praca z architekturami medallion lub lakehouse.
• Augmentacja Generatywna: Ekspozycja na narzędzia takie jak NVIDIA Cosmos, potoki oparte na Stable Diffusion lub podobne.
• Domeny Krytyczne dla Bezpieczeństwa: Doświadczenie w regulowanych lub krytycznych dla bezpieczeństwa środowiskach danych, takich jak motoryzacja, lotnictwo lub autonomia przemysłowa.

Oferujemy:

• Możliwość pracy nad nowatorskimi projektami.
• Pracę z wysoko zmotywowanym i zaangażowanym zespołem.
• Konkurencyjne wynagrodzenie.
• Elastyczny grafik.
• Pakiet świadczeń - ubezpieczenie zdrowotne, sport.
• Firmowe wydarzenia społeczne.
• Możliwości rozwoju zawodowego.
• Biuro dobrze wyposażone.

O nas: Grid Dynamics (NASDAQ: GDYN) jest wiodącym dostawcą usług doradztwa technologicznego, inżynierii platform i produktów, AI oraz zaawansowanej analityki. Łącząc wizję techniczną z zmysłem biznesowym, rozwiązujemy najpilniejsze wyzwania techniczne i umożliwiamy pozytywne wyniki biznesowe dla przedsiębiorstw przechodzących transformację biznesową. Kluczowym wyróżnikiem Grid Dynamics jest nasze 8-letnie doświadczenie i przywództwo w dziedzinie AI dla przedsiębiorstw, wspierane przez głęboką wiedzę i ciągłe inwestycje w dane, analitykę, chmurę i DevOps, modernizację aplikacji oraz doświadczenie klienta. Założona w 2006 roku, Grid Dynamics ma siedzibę w Dolinie Krzemowej z biurami w Amerykach, Europie i Indiach.