Senior Databricks Engineer in Katowice

W Capgemini Invent wierzymy, że różnorodność napędza zmiany. Jako wynalazczy konsultanci ds. transformacji łączymy nasze strategiczne, kreatywne i naukowe zdolności, ściśle współpracując z klientami w celu dostarczania nowoczesnych rozwiązań. Dołącz do nas, aby prowadzić transformację dostosowaną do wyzwań naszych klientów na dziś i jutro. Oparta na nauce i danych. Wzmocniona przez kreatywność i design. Wszystko to wspierane przez technologię stworzoną z myślą o celu.

Twoja rola

Będziesz starszym inżynierem Databricks, który odpowiada za warstwę zarządzania platformami, które budujemy. W projektach Databricks pracujesz jak każdy starszy inżynier, zajmując się pipeline'ami, modelem danych i konfiguracją platformy, a także przejmujesz odpowiedzialność za Unity Catalog, dostęp i dowody. W projektach związanych z zarządzaniem, nasi konsultanci ds. zarządzania danymi i AI decydują, jak powinno wyglądać dobre zarządzanie dla klienta: kto jest właścicielem danych, kto może je zobaczyć, jakie zasady jakości obowiązują, co musi zobaczyć audytor. Ty realizujesz to w Unity Catalog i w pipeline'ach wokół niego: projektowanie metastore i katalogu, modele dostępu, które działają (grupy, filtry wierszy, maski kolumn, polityki oparte na tagach), linia życia i dowody audytu pobrane z tabel systemowych, kontrole jakości danych wewnątrz pipeline'ów, modele i zasoby AI zarządzane przez Unity Catalog i MLflow. Będziesz codziennie współpracować z naszymi konsultantami ds. zarządzania danymi i AI oraz ze specjalistami ds. prawnych i suwerenności, a także nauczysz się od nich strony regulacyjnej.

Twoje zadania

• Projektowanie i wdrażanie Unity Catalog dla klientów: struktura metastore i katalogu, powiązanie przestrzeni roboczej, lokalizacje zewnętrzne i poświadczenia przechowywania, federacja tożsamości (SCIM, zasady usług), model własności.
• Budowanie kontroli dostępu, która odzwierciedla projekt zarządzania: uprawnienia i grupy, filtry wierszy i maski kolumn, kontrola dostępu oparta na atrybutach z tagami, klasyfikacja danych; testowanie i dokumentowanie, aby audytorzy mogli to przeczytać.
• Produkcja dowodów zarządzania z platformy: linia życia, dzienniki audytu i faktury z tabel systemowych, przeglądy dostępu, pulpity nawigacyjne dla właścicieli danych i zespołów zgodności; integracja z katalogami przedsiębiorstw (Microsoft Purview, Collibra), gdzie klient je posiada.
• Wdrażanie jakości danych w pipeline'ach: oczekiwania w pipeline'ach Lakeflow, monitorowanie Lakehouse, metryki jakości publikowane w katalogu i dla zespołu zarządzania.
• Zarządzanie zasobami AI na platformie z zespołem ds. zarządzania AI: modele i funkcje zarejestrowane w Unity Catalog, przepływy pracy zatwierdzające MLflow, polityki bramy AI dla punktów końcowych LLM, logowanie dla śledzenia.
• Wdrażanie kontroli suwerenności i rezydencji z zespołem ds. suwerenności: umiejscowienie regionu, klucze zarządzane przez klienta, prywatne połączenia, Delta Sharing i skonfigurowana federacja Lakehouse, aby dane pozostały tam, gdzie muszą.
• Migracja klientów z Hive metastore i modeli uprawnień z przeszłości do Unity Catalog oraz oczyszczenie tego, czego zarządzanie nie może zobaczyć.
• Budowanie zasobów wielokrotnego użytku: referencyjne konfiguracje Unity Catalog jako kod (Terraform, Databricks Asset Bundles), wzorce polityki dostępu, pulpity dowodowe; wkład w architekturę referencyjną zarządzania przez projekt.

Twój profil

• 5+ lat praktycznego doświadczenia w inżynierii Databricks w produkcji, w tym co najmniej dwa lata projektowania i administrowania Unity Catalog na poziomie przedsiębiorstwa (wiele przestrzeni roboczych, wiele zespołów).
• Głęboka wiedza na temat Unity Catalog: model uprawnień, bezpieczeństwo wierszy i kolumn, tagi i polityki oparte na atrybutach, tabele systemowe, linia życia, Delta Sharing, federacja Lakehouse; migracja z Hive metastore.
• Silna znajomość Spark, SQL i Pythona; Delta Lake; pipeline'y i zadania Lakeflow; infrastruktura jako kod z Terraform i Databricks Asset Bundles; CI/CD.
• Znajomość bezpieczeństwa w chmurze na Azure lub AWS w kontekście Databricks: tożsamość, dostęp do przechowywania, prywatne sieci, zarządzanie kluczami.
• Certyfikat Databricks Certified Data Engineer Professional lub Associate; akredytacja Administratora Platformy jest dodatkowym atutem.
• Interesowanie się zarządzaniem danymi i regulacjami; doświadczenie z narzędziem do zarządzania lub katalogu (Purview, Collibra) lub z RODO, Ustawą o AI UE lub danymi regulowanymi przez sektor jest dodatkowym atutem.
• Umiejętność wyjaśnienia modelu dostępu lub grafu linii życia osobie nietechnicznej; biegła znajomość języka angielskiego.
• Doświadczenie w sektorze finansowym, energetycznym, farmaceutycznym lub publicznym jest dodatkowym atutem.

Co pokochasz w pracy tutaj

• Praktyczne korzyści: roczna premia finansowa, prywatna opieka medyczna z Medicover z dodatkowymi pakietami (np. stomatologia, opieka senioralna, onkologia) dostępne na preferencyjnych warunkach, ubezpieczenie na życie i dostęp do platformy benefitowej NAIS.
• Dostęp do ponad 70 ścieżek szkoleniowych z możliwościami certyfikacji (np. GenAI, Excel, Analiza Biznesowa, Zarządzanie Projektami) na naszej platformie NEXT. Zanurz się w świecie wiedzy z bezpłatnym dostępem do platformy językowej Education First, TED Talks i materiałów oraz szkoleń z Udemy Business.
• Nowoczesna technologia: Umieść się na czołowej pozycji innowacji IT, pracując z najnowszymi technologiami i platformami. Capgemini współpracuje z czołowymi globalnymi przedsiębiorstwami, w tym 145 firmami z listy Fortune 500.
• Ciesz się hybrydowym modelem pracy, który pasuje do Twojego życia - po zakończeniu onboardingu, łącz pracę z nowoczesnym biurem z ergonomiczną pracą zdalną, dzięki pakietowi do pracy zdalnej (w tym laptop, monitor i krzesło). Zapytaj swojego rekrutera o szczegóły.

Poznaj nas

Capgemini zobowiązuje się do różnorodności i inkluzji, zapewniając sprawiedliwość we wszystkich praktykach zatrudnienia. Oceniamy osoby na podstawie kwalifikacji i wyników, a nie cech osobistych, dążąc do stworzenia miejsca pracy, w którym każdy może odnieść sukces i czuć się doceniany.

Czy chcesz lepiej nas poznać? Sprawdź nasz Instagram — @capgeminipl lub odwiedź nasz profil na Facebooku — Capgemini Polska. Możesz nas również znaleźć na YouTube.

O Capgemini

Capgemini jest partnerem transformacji biznesowej dla przedsiębiorstw w erze AI. Pomagamy organizacjom wyobrazić sobie i zbudować inteligentną, zrównoważoną przyszłość, łącząc AI, technologię i ludzką pomysłowość, aby przekształcić sposób, w jaki działają, innowują i rozwijają się. Dzięki unikalnym możliwościom end-to-end obejmującym strategię, technologię, inżynierię i inteligentne operacje, łączymy głęboką wiedzę branżową i wiodące na rynku możliwości w zakresie AI, chmury i danych, aby przekształcić ambicje w wymierne wyniki biznesowe na dużą skalę. Wspierani przez solidny ekosystem partnerów i niemal 60-letnie doświadczenie, Capgemini jest odpowiedzialną i różnorodną globalną organizacją liczącą ponad 410 000 członków zespołu w ponad 50 krajach. Grupa odnotowała przychody w wysokości 22,5 miliarda euro w 2025 roku.