Senior Data Platform Engineer in Katowice

Naszym klientem jest firma, która buduje standardową ścieżkę dla zarządzanego udostępniania danych w ramach usług produktowych, analityki i AI/ML. Zespół Data Platform odpowiada za umowy, mechanizmy kontroli, ścieżki publikacji, metadane katalogu, zasady cyklu życia, pochodzenie, uprawnienia oraz elementy budowlane runtime, które sprawiają, że ponownie używane dane są bezpieczne i praktyczne na dużą skalę. To rola dla kogoś, kto chce kształtować platformę od samego początku, pracując nad konkretnymi problemami produkcyjnymi. Klient już ma systemy produkcyjne, infrastrukturę Kafka, bazy danych PostgreSQL, konsumentów analitycznych oraz przypadki użycia AI/ML, które potrzebują lepszej podstawy danych.

Wyzwanie polega na przekształceniu tej rzeczywistości w standardową ścieżkę, z której inżynierowie naprawdę chcą korzystać. Nasz pierwszy kamień milowy jest skoncentrowany na: centralnie zarządzanych tabelach publikacyjnych w bazach danych PostgreSQL, przechwytywanych przez Debezium CDC do Kafki i rejestrowanych w DataHub z metadanymi dotyczącymi własności, cyklu życia, pochodzenia i analizy wpływu. W dłuższej perspektywie platforma rozszerza się w kierunku produktów danych samodzielnych, zarządzanych materializacji, trwałego stanu współdzielonego oraz ponownie używanych danych w systemach operacyjnych i analitycznych klienta.

To nie jest rola, w której tylko utrzymujesz istniejący pipeline raportowy. Będziesz pomagać projektować i budować ścieżkę platformy, z której inne zespoły inżynieryjne korzystają podczas publikowania i konsumowania współdzielonych danych.

Co będziesz robić:

• Projektować i budować usługi platformowe, narzędzia i przepływy pracy dla publikacji i konsumpcji danych opartych na umowach.
• Budować pierwszą ścieżkę produkcyjną dla tabel publikacyjnych zarządzanych przez platformę PostgreSQL, Debezium CDC, tematy Kafki oraz rejestrację katalogu.
• Tworzyć przepływy pracy w stylu GitOps, w których umowy, schematy, własność, cykl życia, zgodność, metadane polityki i pożądany stan runtime są przeglądane, walidowane i uzgadniane jako kod.
• Budować narzędzia, które dają inżynierom produktu szybkie informacje zwrotne przed publikacją lub zmianą produktów danych.
• Pomagać definiować, jak klient modeluje produkty danych, umowy publikacyjne, ewolucję schematu, stabilność pól, semantykę usuwania, politykę dostępu, pochodzenie i atrybucję kosztów.
• Obsługiwać i poprawiać model runtime CDC, w tym obciążenia Kubernetes, izolację specyficzną dla źródła, offsety, historię schematu, sygnały, widoczność opóźnienia, ponowne próbkowanie i odzyskiwanie.
• Integracja metadanych platformy z DataHub, aby inżynierowie mogli odkrywać produkty danych, rozumieć własność, śledzić pochodzenie i analizować wpływ zmian.
• Współpracować z zespołami produktowymi, infrastrukturalnymi, inżynieryjnymi danych, analitycznymi i AI/ML, aby uczynić standardową ścieżkę łatwiejszą i bezpieczniejszą niż dostosowane integracje punkt-punkt.

Co potrzebujesz:

• Silne doświadczenie w budowaniu i obsłudze systemów oprogramowania produkcyjnego, najlepiej w obszarze platform, infrastruktury, backendu lub środowisk intensywnych danych.
• Głębokie zrozumienie kompromisów systemów rozproszonych: niezawodność, idempotencja, ponowne odtwarzanie, ostateczna spójność, granice własności, zgodność i tryby awarii operacyjnej.
• Praktyczne doświadczenie z PostgreSQL lub innymi relacyjnymi bazami danych, w tym projektowanie schematów, migracje, transakcje, replikacja lub wydajność operacyjna.
• Doświadczenie z Kafką, strumieniowaniem zdarzeń, CDC, Debezium lub pokrewnymi technologiami przesyłania danych. Bezpośrednie doświadczenie z Debezium jest cenne, ale silne fundamenty mają większe znaczenie.
• Doświadczenie w budowaniu oprogramowania, z którego korzystają inni inżynierowie: CLIs, wewnętrzne platformy, płaszczyzny kontrolne, automatyzacja, walidacja CI, narzędzia dla deweloperów lub przepływy pracy samodzielnych usług.
• Znajomość Kubernetes oraz platform chmurowych lub infrastrukturalnych, w tym izolacja runtime, wdrożenie, obserwowalność i własność operacyjna.
• Umiejętność przekształcania niejasnych kierunków architektonicznych w praktyczne przyrosty, wyraźne przedstawianie kompromisów i dostarczanie użytecznych systemów produkcyjnych bez czekania na doskonałą pewność.
• Jasna komunikacja pisemna i ustna w języku angielskim. Ta rola wiąże się z dostosowaniem wielu zespołów inżynieryjnych wokół standardów, umów i granic własności.

Miłe do posiadania:

• DataHub lub inne systemy katalogów danych, pochodzenia lub zarządzania.
• Otwarte formaty tabel, takie jak Apache Iceberg, jeziora danych oparte na obiektach, S3, BigQuery, ClickHouse lub systemy przechowywania analitycznego.
• GitHub Actions, polityka jako kod, infrastruktura jako kod, kontrolery, operatory lub systemy oparte na uzgadnianiu.
• Umowy dotyczące danych, rejestry schematów, Protobuf, Avro, JSON Schema, sprawdzanie zgodności, metadane na poziomie pól lub testowanie umów.
• Doświadczenie w wspieraniu analityki, AI/ML, wzorców dostępu w stylu feature-store lub integracji międzydomenowych usług produktowych.
• Doświadczenie z językami JVM oraz Python, TypeScript, Go lub Ruby.