Data Engineer (Azure Databricks) in Kraków

Andersen zatrudnia Data Engineera (Azure Databricks) w UE do projektu, który ma na celu ulepszenie chmurowej platformy danych oraz dostarczanie skalowalnych rozwiązań danych dla rozwoju leków. Klientem jest międzynarodowa firma działająca w sektorze nauk przyrodniczych, koncentrująca się na opracowywaniu i komercjalizacji specjalistycznych produktów i rozwiązań, wspieranych przez badania, technologię i partnerstwa na wielu rynkach.

Projekt koncentruje się na rozwijaniu i ulepszaniu produktów danych dla interesariuszy naukowych i biznesowych w obszarze rozwoju leków. Ma na celu wzmocnienie chmurowej platformy danych oraz możliwości dostarczania, umożliwiając skalowalne przetwarzanie danych, niezawodną analizę i efektywne wykorzystanie danych w całej organizacji.

Obowiązki:

• Budowanie i utrzymywanie wielowarstwowych pipeline'ów (Landing → Raw → Enriched → Curated) na Azure Databricks (Spark, Delta Lake).
• Orkiestracja pipeline'ów za pomocą Databricks Jobs / Workflows: zależności, ponowne próby, alerty.
• Implementacja wsadowego i opartego na API pobierania danych z wielu systemów źródłowych.
• Stosowanie egzekwowania schematu i obsługi zmian schematu; przeprowadzanie kontroli jakości danych podczas pobierania.
• Praca z dbt w zakresie obserwowalności pipeline'ów i zadań związanych z zarządzaniem danymi.
• Monitorowanie awarii zadań, świeżości danych i zdrowia pipeline'ów w odniesieniu do celów dostawy opartych na SLA.
• Ustawianie alertów, logowania i strategii ponownych prób dla pipeline'ów produkcyjnych.
• Praca w kontrolowanym środowisku Dev/Test/Prod: kontrola dostępu, ścieżki audytu, dokumentacja pipeline'ów, ścisła zgodność z wymaganiami.
• Wkład w CI/CD i MLOps/AI pipeline'y na Databricks tam, gdzie projekt tego wymaga.

Wymagania:

• Doświadczenie komercyjne w inżynierii danych przez 4+ lata.
• Silne doświadczenie praktyczne z Azure Databricks, w tym Spark i Delta Lake.
• Doświadczenie w budowaniu i utrzymywaniu wielowarstwowych pipeline'ów danych zgodnie z architekturą Landing → Raw → Enriched → Curated.
• Doświadczenie w egzekwowaniu schematu i obsłudze zmian schematu.
• Umiejętność implementacji kontroli jakości danych podczas pobierania.
• Doświadczenie w orkiestracji pipeline'ów za pomocą Databricks Jobs / Workflows, w tym zależności, ponowne próby, alerty i obsługa awarii.
• Doświadczenie zarówno w wsadowym, jak i opartym na API pobieraniu danych.
• Silne doświadczenie praktyczne z dbt.
• Umiejętność monitorowania awarii zadań, świeżości danych i ogólnego zdrowia pipeline'ów.
• Doświadczenie w dostarczaniu danych zgodnie z określonymi SLA.
• Doświadczenie w implementacji alertów, logowania i strategii ponownych prób.
• Doświadczenie w projektowaniu i utrzymywaniu modeli kontroli dostępu.
• Zrozumienie ścieżek audytu, pochodzenia danych i pełnej ścisłej zgodności.
• Doświadczenie w logowaniu i generowaniu dowodów dla celów audytu i zgodności.
• Zrozumienie segregacji obowiązków.
• Doświadczenie w definiowaniu i utrzymywaniu kontraktów danych.
• Umiejętność tworzenia i utrzymywania jasnej dokumentacji pipeline'ów.
• Doświadczenie w pracy w kontrolowanych środowiskach Dev, Test i Prod.
• Umiejętność zapewnienia ścisłej zgodności między wymaganiami a wdrożonymi rozwiązaniami danych.
• Poziom angielskiego – od Upper-Intermediate wzwyż.

Preferencje:

• Doświadczenie z Databricks.
• Doświadczenie z SAP S/4HANA; Microsoft 365; Azure; SharePoint; integracje przedsiębiorstw.
• Doświadczenie w CI/CD i praktykach DevOps dla danych, w tym rozwój oparty na Git i strategie gałęzi.
• Doświadczenie w budowaniu i utrzymywaniu pipeline'ów CI/CD dla przepływów danych.
• Doświadczenie w promowaniu kodu i rozwiązań danych w środowiskach Dev, Test i Prod.
• Umiejętność integrowania automatycznych testów w pipeline'ach wdrożeniowych.
• Doświadczenie z MLOps i AI pipeline'ami na Databricks.
• Ekspozycja na regulowane dziedziny, takie jak GxP, badania kliniczne i farmakowigilancja.
• Silne umiejętności inżynieryjne SQL, w tym rozwój modułowych i wielokrotnego użytku modeli dbt, testów i dokumentacji na poziomie inżyniera analitycznego.
• Doświadczenie w modelowaniu danych wymiarowych, w tym schematach gwiazdy, podejściu One Big Table (OBT) i kuratowanych hurtowniach danych.
• Znajomość Tabular Editor i koncepcji metadata-as-code.
• Doświadczenie w projektowaniu zestawów danych Power BI, optymalizacji wydajności oraz utrzymywaniu spójności KPI i semantycznej.
• Doświadczenie w przemyśle farmaceutycznym lub biotechnologicznym.

Powody, dla których ta praca może być interesująca:

• Doświadczenie w pracy zespołowej z liderami w FinTech, Healthcare, Retail, Telecom i innych branżach.
• Andersen współpracuje z takimi firmami jak Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems itp.
• Możliwość zmiany projektu i/lub rozwijania wiedzy w interesującym obszarze biznesowym.
• Warunki pracy – możesz pracować zarówno w pełni zdalnie, jak i z biura lub wybrać wariant hybrydowy.
• Gwarancja profesjonalnego, finansowego i kariery rozwoju!
• Firma wprowadziła systemy mentoringu i adaptacji dla każdego nowego pracownika.
• Możliwość zarobienia dodatkowych 1 000 EUR miesięcznie, w zależności od poziomu wiedzy, co będzie uwzględnione w rocznej premii, uczestnicząc w działaniach firmy.
• Dostęp do korporacyjnego portalu szkoleniowego, gdzie gromadzona jest cała baza wiedzy firmy, która jest stale aktualizowana.
• Jasne życie korporacyjne (imprezy / dni pizzy / PlayStation / owoce / kawa / przekąski / filmy).
• Rekompensata za certyfikaty (AWS, PMP itp.).
• Program poleceń.
• Prywatne ubezpieczenie zdrowotne i rekompensata sportowa, w zależności od rodzaju zatrudnienia.
• Twoje dane osobowe są chronione zgodnie z przepisami RODO.