W skrócie
- Zadania: Twórz innowacyjne platformy danych dla autonomicznych pojazdów w ekscytującym środowisku.
- Firma: Globalny lider w branży ciężkiego sprzętu i autonomicznych maszyn.
- Benefity: Atrakcyjne wynagrodzenie, elastyczny grafik, ubezpieczenie zdrowotne i rozwój zawodowy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery i udziałem w wydarzeniach firmowych.
- Dlaczego ta praca: Pracuj nad przełomowymi projektami i wpływaj na bezpieczeństwo autonomicznych systemów.
- Kwalifikacje: 5+ lat doświadczenia w budowaniu platform danych i zaawansowane umiejętności w AWS.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Opis: Poszukujemy inżyniera platformy danych, który dołączy do programu współinnowacji budującego fundamenty danych i MLOps dla systemów bezpieczeństwa zapobiegających kolizjom w autonomicznych pojazdach górniczych i budowlanych, dla globalnego producenta ciężkiego sprzętu oraz pioniera w dziedzinie maszyn autonomicznych. W tej roli będziesz pracować z zespołami ML, aby zaprojektować i zarządzać wielowarstwową platformą danych AWS, która zasila systemy bezpieczeństwa i modelowanie podstawowe, przetwarzając telemetrię czujników, wyniki symulacji i oznaczone zestawy danych na dużą skalę.
Zadania:
- Projektowanie i wdrażanie architektury danych medalionowych na AWS S3 z zasadami promowania warstw wymuszonymi przez IAM, zastępując ręczne wyzwalacze pobierania danymi z logiką odkrywania danych, która gwarantuje pełne przechwytywanie.
- Budowanie warstwy adaptera, która konwertuje heterogeniczne źródła na format kanoniczny, zachowując metadane czasowe, kalibrację czujników i kontekst przestrzenny, plus bramkę dla telemetrii rzeczywistej na dużą skalę z automatycznym usuwaniem PII i dostosowaniem częstotliwości czujników.
- Wdrażanie centralnego rejestru metadanych z niezmienną wersjonowaniem zestawów danych i rozgałęzieniem na poziomie warstwy, egzekwowanie partycjonowania na poziomie epizodu dla ścisłych podziałów treningowych/walidacyjnych oraz ustanowienie łańcuchów pochodzenia od surowych danych przez przetworzone zestawy danych i uruchomienia modelu do artefaktów modelu.
- Budowanie automatycznych bramek walidacji schematu i konfigurowalnych wyłączników, które zatrzymują uszkodzone dane przed przejściem między warstwami, oraz zintegrowanego pulpitu śledzącego wskaźniki pobierania i odrzucania, błędy walidacji, przepustowość augmentacji i opóźnienia.
- Integracja pipeline'u augmentacji danych jako zarządzanego etapu przepływu z pełną linią pochodzenia od danych źródłowych przez parametry augmentacji do wyjścia, oraz definiowanie z zespołami ML umów dotyczących kompletności schematu, okna czasowego, progów jakości oznaczeń i bramek zatwierdzających.
- Udowodnienie narzędzi end-to-end, od pobierania danych do treningu modelu bezpieczeństwa, w pierwszym pilotażowym przepływie pracy, takim jak zarządzanie stosem ładowarki kołowej, a następnie skalowanie go jako fundament dla dalszych przypadków użycia autonomii.
Wymagania:
- 5+ lat doświadczenia w budowaniu produkcyjnych pipeline'ów danych i platform danych.
- Głęboka wiedza na temat S3, EventBridge, Step Functions, FSx dla Lustre, CloudWatch i IAM, z biegłością w IaC i praktykami GitOps.
- Praktyczne doświadczenie z Ray lub Spark oraz silne umiejętności w Pythonie do budowania pipeline'ów ETL/ELT na dużą skalę.
- Solidna wiedza na temat formatów kolumnowych i binarnych (Parquet, HDF5) oraz architektur pobierania danych opartych na zdarzeniach.
- Praktyczne doświadczenie z LakeFS, DVC, Delta Lake lub równoważnymi narzędziami do wersjonowania zestawów danych i śledzenia pochodzenia.
- Udokumentowane doświadczenie w projektowaniu walidacji schematu, wyłączników i monitorowania wskaźników odrzucenia.
- Znajomość MLflow lub równoważnego rejestru artefaktów i systemu śledzenia eksperymentów.
Będzie plusem:
- Doświadczenie z formatami danych systemów autonomicznych, takimi jak torby ROS, LiDAR, IMU i strumienie kamer;
- Poprzednia praca z architekturami medalionowymi lub lakehouse;
- Ekspozycja na narzędzia takie jak NVIDIA Cosmos, pipeline'y oparte na Stable Diffusion lub podobne;
- Doświadczenie w regulowanych lub krytycznych dla bezpieczeństwa środowiskach danych, takich jak motoryzacja, lotnictwo lub autonomia przemysłowa.
Warunki:
- Możliwość pracy nad nowatorskimi projektami.
- Praca z wysoko zmotywowanym i zaangażowanym zespołem.
- Konkurencyjne wynagrodzenie.
- Elastyczny grafik.
- Pakiet świadczeń - ubezpieczenie zdrowotne, sport.
- Firmowe wydarzenia społeczne.
- Możliwości rozwoju zawodowego.
- Biuro dobrze wyposażone.
Data Platform Engineer for Autonomous Vehicles in Warsaw – pracodawca: Grid Dynamics
Grid Dynamics w Warszawie to doskonały pracodawca, który oferuje elastyczne godziny pracy oraz dynamiczne środowisko sprzyjające rozwojowi zawodowemu. Pracując z nami jako Senior Big Data Engineer, będziesz miał okazję współpracować z utalentowanym zespołem, rozwijając swoje umiejętności w zakresie technologii big data, takich jak Spark i Scala, w inspirującej atmosferze innowacji i współpracy.
