Senior Databricks Engineer in Warsaw

W Capgemini Invent wierzymy, że różnorodność napędza zmiany. Jako innowacyjni konsultanci ds. transformacji łączymy nasze strategiczne, kreatywne i naukowe umiejętności, ściśle współpracując z klientami, aby dostarczać nowoczesne rozwiązania. Dołącz do nas, aby prowadzić transformację dostosowaną do wyzwań naszych klientów dzisiaj i jutro. Twoja rola: Będziesz budować platformy lakehouse na Databricks dla naszych klientów, od początku do końca: konfiguracja przestrzeni roboczej i platformy, wczytywanie danych, potoki, modele danych, produkty danych do analityki i uczenia maszynowego oraz operacje, które utrzymują wszystko w ruchu. Nasi inżynierowie nie są podzieleni na osoby zajmujące się platformą i potokami; obejmujesz cały stos i rozwijasz się w nim. Jako inżynier odpowiadasz za potoki, produkty danych i części platformy w ramach strumienia pracy. Jako starszy inżynier odpowiadasz za projekt techniczny strumienia pracy lub całej platformy, przeglądasz pracę innych inżynierów i jesteś osobą, z którą rozmawiają architekci klientów.

Twoje zadania: Konfiguracja platform Databricks: przestrzenie robocze, polityki obliczeniowe, podstawy Unity Catalog, sieci i tożsamość z zespołem platformy; na poziomie seniora, posiadanie projektu platformy i modelu kosztów. Budowanie wczytywania i potoków: Lakeflow Connect i Auto Loader, potoki Lakeflow w trybie wsadowym i strumieniowym, transformacje Spark i SQL, tabele Delta Lake w modelu medalionowym; na poziomie seniora, ustalanie wzorców, które będą śledzić inni inżynierowie. Modelowanie danych do konsumpcji: produkty danych, Databricks SQL i pulpity AI/BI, tabele cech i serwowanie modeli z MLflow; na poziomie seniora, decydowanie o podejściu modelowania z klientem. Migracja obciążeń z legacy warehouses, Hadoop lub notatników do Databricks; refaktoryzacja tego, co nie może być migrowane tak, jak jest. Inżynieria jak oprogramowanie: Git, CI/CD z Databricks Asset Bundles, infrastruktura jako kod z Terraform, testy automatyczne, przegląd kodu; na poziomie seniora, prowadzenie przeglądów i posiadanie procesu wydania. Uruchamianie i optymalizacja: monitorowanie, orkiestracja zadań, strojenie wydajności, kontrola kosztów (rozmiar klastra, serverless, Photon, strojenie zapytań). Wsparcie warstwy zarządzania, gdy zaangażowanie to obejmuje: oczekiwania dotyczące jakości danych w potokach, pochodzenie, prośby o dostęp w Unity Catalog, razem z inżynierem ds. zarządzania. Na poziomie seniora: szacowanie i planowanie strumieni pracy, wspieranie ofert z Databricks Lead, coaching inżynierów i utrzymywanie aktualnych certyfikatów w zespole.

Twój profil: Inżynier: 3+ lata w inżynierii danych, z co najmniej rokiem praktycznego doświadczenia na Databricks w produkcji. Starszy inżynier: 5+ lat, co najmniej trzy na Databricks, z praktycznym doświadczeniem w co najmniej trzech z: konfiguracja platformy, potoki wsadowe i strumieniowe, modelowanie danych, migracja, CI/CD i infrastruktura jako kod, strojenie wydajności i kosztów oraz udokumentowane prowadzenie technicznej strony strumienia pracy. Silna znajomość Spark (PySpark lub Scala) i SQL; Python; Delta Lake; potoki i zadania Lakeflow; Databricks SQL. Znajomość jednej chmury (preferowany Azure; AWS lub GCP): przechowywanie, tożsamość i sieci w kontekście Databricks. Git i CI/CD; doświadczenie z Databricks Asset Bundles lub Terraform (oba, na poziomie seniora). Certyfikat Databricks Certified Data Engineer Associate posiadany lub w trakcie realizacji (Profesjonalny, na poziomie seniora). Podstawy Unity Catalog: katalogi, uprawnienia, pochodzenie; zainteresowanie zarządzaniem danymi jest plusem. Jasna komunikacja z zespołami danych klientów; płynny angielski; na poziomie seniora, umiejętność prezentacji projektu technicznego architektom klientów. Doświadczenie w usługach finansowych, energetyce, farmacji lub sektorze publicznym jest plusem.

Co pokochasz w pracy tutaj: Korzyści praktyczne: roczna premia finansowa, prywatna opieka medyczna z Medicover z dodatkowymi pakietami (np. stomatologia, opieka senioralna, onkologia) dostępne na preferencyjnych warunkach, ubezpieczenie na życie i dostęp do platformy benefitowej NAIS. Dostęp do ponad 70 ścieżek szkoleniowych z możliwościami certyfikacji (np. GenAI, Excel, analiza biznesowa, zarządzanie projektami) na naszej platformie NEXT. Zanurz się w świecie wiedzy z bezpłatnym dostępem do platformy językowej Education First, TED Talks i materiałów oraz szkoleń z Udemy Business. Nowoczesna technologia: Umieść się na czołowej pozycji innowacji IT, pracując z najnowszymi technologiami i platformami. Capgemini współpracuje z czołowymi globalnymi przedsiębiorstwami, w tym 145 firmami z listy Fortune 500. Ciesz się hybrydowym modelem pracy, który pasuje do twojego życia - po zakończeniu onboardingu, łącz pracę z nowoczesnego biura z ergonomiczną pracą zdalną, dzięki pakietowi do pracy zdalnej (w tym laptop, monitor i krzesło).

Capgemini zobowiązuje się do różnorodności i integracji, zapewniając sprawiedliwość we wszystkich praktykach zatrudnienia. Oceniamy osoby na podstawie kwalifikacji i wyników, a nie cech osobistych, dążąc do stworzenia miejsca pracy, w którym każdy może odnieść sukces i czuć się doceniany.