Lead Data Engineer in Katowice

W Coforge poszukujemy Lead Data Engineer z następującym profilem.

Obowiązki:

• Prowadzenie zespołu dostarczającego RTS i zarządzanie końcowym dostarczeniem strategicznych produktów danych w nowoczesnej platformie danych w chmurze.
• Projektowanie i nadzorowanie architektury rozwiązań danych o niskim opóźnieniu, napędzanych API, od modeli danych backendowych po warstwy serwisowe i konsumpcję API.
• Budowanie i utrzymywanie skalowalnych usług backendowych oraz REST API przy użyciu Pythona i zasad programowania obiektowego.
• Projektowanie, rozwijanie i optymalizacja potoków danych przy użyciu Azure Databricks, DBT, SQL i technologii natywnych dla chmury.
• Zarządzanie architekturą i wdrażaniem warstw danych, zapewniając wysoką dostępność, skalowalność i wydajność.
• Ocena, wybór i wdrażanie technologii do serwowania danych o niskim opóźnieniu i konsumpcji API.
• Prowadzenie wdrożeń infrastruktury i zarządzanie nimi przy użyciu Terraform i praktyk Infrastructure as Code (IaC).
• Mentorowanie i rozwijanie zespołu inżynierów danych i uczenia maszynowego, zapewniając wsparcie techniczne, coaching i rozwój kariery.
• Przeprowadzanie przeglądów kodu oraz ustalanie standardów inżynieryjnych, najlepszych praktyk rozwoju i wytycznych architektonicznych.
• Współpraca z interesariuszami z działów Produktu, Inżynierii, Biznesu i Projektów w celu definiowania rozwiązań technicznych i planów dostarczania.
• Zapewnienie jakości danych, obserwowalności, monitorowania, alertowania i zgodności z SLA we wszystkich produktach i usługach danych.
• Wdrażanie CI/CD i nadzorowanie procesów zarządzania wydaniami dla potoków, usług i komponentów platformy.
• Działanie jako główny punkt eskalacji technicznej w przypadku rozwiązywania złożonych problemów produkcyjnych i zapewniania długoterminowej stabilności platformy.
• Utrzymywanie kompleksowej dokumentacji technicznej, decyzji architektonicznych i standardów wdrożeniowych.

Wymagania obowiązkowe:

• 8+ lat doświadczenia w inżynierii danych, inżynierii oprogramowania lub pokrewnych rolach technicznych.
• Co najmniej 3 lata doświadczenia w prowadzeniu zespołów inżynieryjnych, w tym seniorów, średniozaawansowanych i juniorów.
• Silne doświadczenie w rozwoju backendu z udokumentowanymi osiągnięciami w zakresie produkcyjnych REST API i usług backendowych.
• Umiejętności programowania na poziomie eksperckim w Pythonie, w tym silne zasady programowania obiektowego (OOP).
• Rozległe doświadczenie z PyTest, testowaniem jednostkowym, automatycznymi ramami testowymi i praktykami jakości oprogramowania.
• Silne doświadczenie z Azure Databricks i DBT.
• Zaawansowane umiejętności SQL i doświadczenie w budowaniu skalowalnych rozwiązań danych.
• Dogłębne zrozumienie modelowania danych, modelowania wymiarowego i architektur danych ukierunkowanych na konsumpcję.
• Rozległe doświadczenie z Terraform i wdrożeniami Infrastructure as Code (IaC).
• Doświadczenie w projektowaniu i dostarczaniu produktów danych o niskim opóźnieniu, warstw serwisowych lub rozwiązań danych napędzanych API.
• Silna wiedza na temat potoków CI/CD, kontroli wersji opartej na Gicie i nowoczesnych praktyk inżynierii oprogramowania.
• Udokumentowana zdolność do prowadzenia dostarczania technicznego, pozostając jednocześnie aktywnym w architekturze, rozwoju i przeglądach kodu.
• Doskonałe umiejętności komunikacyjne i zarządzania interesariuszami, z umiejętnością efektywnej współpracy z zespołami technicznymi i biznesowymi.

Wymagania preferencyjne:

• Doświadczenie w branży ubezpieczeniowej, usług finansowych lub innych ściśle regulowanych branżach.
• Znajomość koncepcji ubezpieczeniowych, takich jak administracja polis, roszczenia, underwriting i dane klientów.
• Doświadczenie z Snowflake i wzorcami integracji lub migracji Snowflake do Databricks.
• Praktyczne doświadczenie z Azure AI Search, Lakebase, feature stores lub podobnymi technologiami serwującymi o niskim opóźnieniu.
• Doświadczenie z technologiami danych strumieniowych i rzeczywistych, takimi jak Kafka, Event Hubs lub Delta Live Tables.
• Doświadczenie w implementacji ram zarządzania danymi, bezpieczeństwa i zgodności.
• Doświadczenie w zarządzaniu dużymi środowiskami DBT i potokami danych na poziomie terabajtów.
• Doświadczenie w prowadzeniu inicjatyw migracji do chmury, szczególnie migracji z AWS do Azure.
• Znajomość platform uczenia maszynowego i współpraca z zespołami inżynieryjnymi ML.

W Coforge zatrudniamy profesjonalistów wyłącznie na podstawie ich umiejętności i kwalifikacji i nie dyskryminujemy ze względu na wiek, niepełnosprawność, religię, płeć, orientację seksualną, status społeczno-ekonomiczny ani narodowość.