Senior Databricks Engineer in Warsaw

Nasze wymagania:

• Inżynier: 3+ lata doświadczenia w inżynierii danych, z co najmniej rokiem praktycznego doświadczenia na Databricks w produkcji.
• Starszy inżynier: 5+ lat doświadczenia, przynajmniej trzy lata na Databricks, z praktycznym doświadczeniem w co najmniej trzech z następujących obszarów: konfiguracja platformy, potoki wsadowe i strumieniowe, modelowanie danych, migracja, CI/CD oraz infrastruktura jako kod, optymalizacja wydajności i kosztów, oraz udokumentowane doświadczenie w prowadzeniu technicznej strony projektu.
• Silna znajomość Spark (PySpark lub Scala) i SQL; Python; Delta Lake; potoki i zadania Lakeflow; Databricks SQL.
• Znajomość jednego z chmur (preferowany Azure; AWS lub GCP): przechowywanie, tożsamość i sieci w kontekście Databricks.
• Git i CI/CD; doświadczenie z Databricks Asset Bundles lub Terraform (oba, na poziomie seniora).
• Certyfikat Databricks Certified Data Engineer Associate posiadany lub w trakcie zdobywania (Profesjonalny, na poziomie seniora).
• Podstawy Unity Catalog: katalogi, uprawnienia, linia czasu; zainteresowanie zarządzaniem danymi jest dodatkowym atutem.
• Jasna komunikacja z zespołami danych klientów; biegła znajomość języka angielskiego; na poziomie seniora umiejętność prezentacji projektu technicznego architektom klienta.
• Doświadczenie w sektorze finansowym, energetycznym, farmaceutycznym lub publicznym jest dodatkowym atutem.

O projekcie:

Będziesz budować platformy lakehouse na Databricks dla naszych klientów, od początku do końca: konfiguracja przestrzeni roboczej i platformy, wprowadzanie danych, potoki, model danych, produkty danych do analityki i uczenia maszynowego oraz operacje, które utrzymują wszystko w ruchu. Nasi inżynierowie nie są podzieleni na osoby zajmujące się platformą i potokami; obejmujesz cały stos i rozwijasz się w nim. Jako inżynier odpowiadasz za potoki, produkty danych i części platformy w ramach projektu. Jako starszy inżynier odpowiadasz za projekt techniczny projektu lub całej platformy, przeglądasz pracę innych inżynierów i jesteś osobą, z którą rozmawiają architekci klienta. Będziesz współpracować z liderem Databricks nad architekturą, z starszym inżynierem Databricks - Governance, gdy zarządzanie jest częścią zaangażowania, oraz z zespołami danych klienta każdego dnia. Zatrudniamy na obu poziomach w tej ofercie; zmienia się tylko udział projektowania i przeglądania w porównaniu do budowania.

Zakres obowiązków:

• Konfiguracja i uruchamianie platform Databricks: przestrzenie robocze, polityki obliczeniowe, podstawy Unity Catalog, sieć i tożsamość z zespołem platformy; na poziomie seniora, odpowiedzialność za projekt platformy i jej model kosztowy.
• Budowanie wprowadzania danych i potoków: Lakeflow Connect i Auto Loader, potoki Lakeflow w trybie wsadowym i strumieniowym, transformacje Spark i SQL, tabele Delta Lake w modelu medalionowym; na poziomie seniora, ustalanie wzorców, które będą śledzić inni inżynierowie.
• Modelowanie danych do konsumpcji: produkty danych, Databricks SQL i pulpity AI/BI, tabele cech i serwowanie modeli z MLflow; na poziomie seniora, podejmowanie decyzji dotyczących podejścia do modelowania z klientem.
• Migracja obciążeń z legacy warehouses, Hadoop lub notebooków do Databricks; refaktoryzacja tego, co nie może być migrowane w obecnej formie.
• Inżynieria jak oprogramowanie: Git, CI/CD z Databricks Asset Bundles, infrastruktura jako kod z Terraform, automatyczne testy, przegląd kodu; na poziomie seniora, prowadzenie przeglądów i odpowiedzialność za proces wydania.
• Uruchamianie i optymalizacja: monitorowanie, orkiestracja zadań, optymalizacja wydajności, kontrola kosztów (rozmiar klastra, serverless, Photon, optymalizacja zapytań).
• Wsparcie warstwy zarządzania, gdy zaangażowanie to obejmuje: oczekiwania dotyczące jakości danych w potokach, linia czasu, prośby o dostęp w Unity Catalog, wspólnie z inżynierem ds. zarządzania. Na poziomie seniora: szacowanie i planowanie projektów, wsparcie ofertowe z liderem Databricks, coaching inżynierów i utrzymywanie aktualnych certyfikatów w zespole.

Oferujemy:

• Praktyczne korzyści: roczna premia finansowa, prywatna opieka medyczna z Medicover z dodatkowymi pakietami (np. stomatologia, opieka senioralna, onkologia) dostępne na preferencyjnych warunkach, ubezpieczenie na życie oraz dostęp do platformy benefitowej NAIS.
• Dostęp do ponad 70 ścieżek szkoleniowych z możliwościami certyfikacji (np. GenAI, Excel, Analiza Biznesowa, Zarządzanie Projektami) na naszej platformie NEXT.
• Wejdź w świat wiedzy z bezpłatnym dostępem do platformy językowej Education First, TED Talks oraz materiałów i szkoleń z Udemy Business.
• Nowoczesna technologia: ustaw się na czołowej pozycji innowacji IT, pracując z najnowszymi technologiami i platformami. Capgemini współpracuje z czołowymi globalnymi przedsiębiorstwami, w tym 145 firmami z listy Fortune 500.
• Ciesz się hybrydowym modelem pracy, który pasuje do Twojego życia - po zakończeniu onboardingu, łącz pracę z nowoczesnym biurem z ergonomiczną pracą zdalną, dzięki pakietowi home office (w tym laptop, monitor i krzesło). Zapytaj swojego rekrutera o szczegóły.