Senior Databricks Engineer in Warsaw

W Capgemini Invent wierzymy, że różnorodność napędza zmiany. Jako konsultanci ds. transformacji, łączymy nasze strategiczne, kreatywne i naukowe umiejętności, ściśle współpracując z klientami, aby dostarczać nowoczesne rozwiązania. Dołącz do nas, aby prowadzić transformację dostosowaną do wyzwań naszych klientów dzisiaj i jutro. Twoja rola: Będziesz starszym inżynierem Databricks, który odpowiada za warstwę zarządzania platformami, które budujemy. W projektach Databricks pracujesz jak każdy starszy inżynier, zajmując się pipeline'ami, modelami danych i konfiguracją platformy, a także przejmujesz odpowiedzialność za Unity Catalog, dostęp i dowody. W projektach zarządzania, nasi konsultanci ds. zarządzania danymi i AI decydują, jak powinno wyglądać dobre zarządzanie dla klienta: kto jest właścicielem danych, kto może je zobaczyć, jakie zasady jakości mają zastosowanie, co musi zobaczyć audytor. Realizujesz to w Unity Catalog i w pipeline'ach wokół niego: projektowanie metastore i katalogu, modele dostępu, które działają (grupy, filtry wierszy, maski kolumn, polityki oparte na tagach), linia i dowody audytu pobrane z tabel systemowych, kontrole jakości danych wewnątrz pipeline'ów, modele i zasoby AI zarządzane przez Unity Catalog i MLflow.

Twoje zadania: Projektowanie i wdrażanie Unity Catalog dla klientów: struktura metastore i katalogu, powiązanie przestrzeni roboczej, lokalizacje zewnętrzne i poświadczenia przechowywania, federacja tożsamości (SCIM, zasady usług), model własności. Budowanie kontroli dostępu, która odzwierciedla projekt zarządzania: uprawnienia i grupy, filtry wierszy i maski kolumn, kontrola dostępu oparta na atrybutach z tagami, klasyfikacja danych; testowanie i dokumentowanie, aby audytorzy mogli to przeczytać. Produkcja dowodów zarządzania z platformy: linia, dzienniki audytu i rozliczenia z tabel systemowych, przeglądy dostępu, pulpity nawigacyjne dla właścicieli danych i zespołów zgodności; integracja z katalogami przedsiębiorstw (Microsoft Purview, Collibra), gdzie klient je posiada. Wdrażanie jakości danych w pipeline'ach: oczekiwania w pipeline'ach Lakeflow, monitorowanie Lakehouse, metryki jakości publikowane w katalogu i dla zespołu zarządzania. Zarządzanie zasobami AI na platformie z zespołem ds. zarządzania AI: modele i funkcje zarejestrowane w Unity Catalog, przepływy pracy zatwierdzające MLflow, polityki bramy AI dla punktów końcowych LLM, rejestrowanie dla śledzenia. Wdrażanie kontroli suwerenności i rezydencji z zespołem ds. suwerenności: umiejscowienie regionu, klucze zarządzane przez klienta, prywatne połączenia, Delta Sharing i skonfigurowana federacja Lakehouse, aby dane pozostały tam, gdzie muszą. Migracja klientów z Hive metastore i modeli uprawnień z przeszłości do Unity Catalog oraz oczyszczanie tego, czego zarządzanie nie może zobaczyć. Budowanie zasobów wielokrotnego użytku: odniesienia do Unity Catalog jako kod (Terraform, Databricks Asset Bundles), wzorce polityki dostępu, pulpity dowodowe; wkład w architekturę referencyjną zarządzania przez projekt.

Twój profil: 5+ lat praktycznego doświadczenia w inżynierii Databricks w produkcji, w tym co najmniej dwa lata projektowania i administrowania Unity Catalog na poziomie przedsiębiorstwa (wiele przestrzeni roboczych, wiele zespołów). Głęboka wiedza na temat Unity Catalog: model uprawnień, bezpieczeństwo wierszy i kolumn, tagi i polityki oparte na atrybutach, tabele systemowe, linia, Delta Sharing, federacja Lakehouse; migracja z Hive metastore. Silna znajomość Spark, SQL i Pythona; Delta Lake; pipeline'y i zadania Lakeflow; infrastruktura jako kod z Terraform i Databricks Asset Bundles; CI/CD. Znajomość bezpieczeństwa w chmurze na Azure lub AWS w kontekście Databricks: tożsamość, dostęp do przechowywania, prywatne sieci, zarządzanie kluczami. Certyfikat Databricks Data Engineer Professional lub Associate; akredytacja administratora platformy jest dodatkowym atutem. Zainteresowanie zarządzaniem danymi i regulacjami; doświadczenie z narzędziem do zarządzania lub katalogu (Purview, Collibra) lub z RODO, ustawą o AI UE lub danymi regulowanymi przez sektor jest dodatkowym atutem. Umiejętność wyjaśnienia modelu dostępu lub grafu linii osobie nietechnicznej; biegła znajomość języka angielskiego. Doświadczenie w usługach finansowych, energetyce, farmacji lub sektorze publicznym jest dodatkowym atutem.

Co pokochasz w pracy tutaj: Praktyczne korzyści: roczna premia finansowa, prywatna opieka medyczna z Medicover z dodatkowymi pakietami (np. stomatologia, opieka senioralna, onkologia) dostępne na preferencyjnych warunkach, ubezpieczenie na życie i dostęp do platformy benefitowej NAIS. Dostęp do ponad 70 ścieżek szkoleniowych z możliwościami certyfikacji (np. GenAI, Excel, analiza biznesowa, zarządzanie projektami) na naszej platformie NEXT. Zanurz się w świecie wiedzy z bezpłatnym dostępem do platformy językowej Education First, TED Talks oraz materiałów i szkoleń Udemy Business. Nowoczesna technologia: Ustaw się na czołowej pozycji innowacji IT, pracując z najnowszymi technologiami i platformami. Capgemini współpracuje z czołowymi globalnymi przedsiębiorstwami, w tym z 145 firmami z listy Fortune 500. Ciesz się hybrydowym modelem pracy, który pasuje do twojego życia - po zakończeniu onboardingu, łącz pracę z nowoczesnego biura z ergonomiczną pracą zdalną, dzięki pakietowi do pracy zdalnej (w tym laptop, monitor i krzesło).

Capgemini zobowiązuje się do różnorodności i inkluzji, zapewniając sprawiedliwość we wszystkich praktykach zatrudnienia. Oceniamy osoby na podstawie kwalifikacji i wyników, a nie cech osobistych, dążąc do stworzenia miejsca pracy, w którym każdy może odnieść sukces i czuć się doceniany.