W skrócie
- Zadania: Twórz skalowalne rozwiązania danych na platformie Azure i współpracuj z zespołem.
- Firma: Aon - firma, która kształtuje lepsze decyzje dla ludzi na całym świecie.
- Benefity: Elastyczny model pracy, konkurencyjne wynagrodzenie i możliwości rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z doskonałymi możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na decyzje biznesowe.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz umiejętności współpracy w zespole.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Jako inżynier danych Azure Databricks, będziesz pracować z zespołem nad projektowaniem i dostarczaniem skalowalnych potoków danych, rozwiązań Lakehouse oraz zarządzanych platform danych na Azure. Zastosujesz swoją wiedzę w zakresie PySpark, SQL, Delta Lake, Unity Catalog oraz Power BI, aby tworzyć bezpieczne, niezawodne i wydajne rozwiązania danych.
Nasze biuro znajduje się w Krakowie, a ta rola jest dostępna zarówno w modelu hybrydowym 50/50, jak i w pełni zdalnym.
Twoje obowiązki będą obejmować:
- Facylitowanie warsztatów w celu omówienia, przeglądania i dokumentowania wymagań dotyczących raportowania biznesowego.
- Ustanawianie najlepszych praktyk w zakresie architektury danych, zarządzania, bezpieczeństwa, wydajności i niezawodności platformy.
- Opracowywanie i wdrażanie skalowalnych potoków integracji danych na Azure Databricks przy użyciu PySpark, SQL, Notebooks, Jobs i Workflows.
- Budowanie i utrzymywanie architektur Lakehouse przy użyciu Delta Lake oraz warstw danych bronze, silver i gold wspierających analitykę i raportowanie.
- Tworzenie solidnych, wielokrotnego użytku systemów i zbiorów do transformacji danych.
- Wdrażanie i zarządzanie Unity Catalog w celu zapewnienia centralnego zarządzania danymi, tabelami i uprawnieniami.
- Definiowanie i egzekwowanie kontroli dostępu opartych na rolach, kontroli dostępu do danych oraz audytów zgodnie z wymaganiami bezpieczeństwa i zgodności.
- Standaryzacja konwencji nazewnictwa katalogów, schematów i tabel w różnych środowiskach.
- Dostarczanie dobrze modelowanych, zoptymalizowanych pod kątem wydajności zbiorów danych dla Power BI i innych narzędzi analityki biznesowej.
- Współpraca z deweloperami BI i analitykami w celu definiowania modeli semantycznych, kontraktów danych i strategii odświeżania.
- Wsparcie w projektowaniu i rozwoju nowych raportów.
- Rozwiązywanie problemów i optymalizacja wydajności zapytań między Power BI a Databricks, w tym Direct Lake i Direct Query, gdzie to możliwe.
- Konfigurowanie i poprawa klastrów Databricks, polityk klastrów i harmonogramów zadań pod kątem kosztów, wydajności i niezawodności.
- Wdrażanie monitorowania, logowania i alertów dla potoków danych i zadań.
- Wnoszenie wkładu i poprawa procesów CI/CD dla kodu Databricks przy użyciu Git i Azure DevOps lub GitHub.
- Badanie technologii AI/ML i możliwości wdrażania potoków uczenia maszynowego, które generują wymierną wartość biznesową.
Umiejętności i doświadczenie, które przyczynią się do sukcesu:
- Znajomość procesów biznesowych i terminologii w branży finansowej i ubezpieczeniowej.
- Praca samodzielna, samomotywacja i organizacja, zarządzanie własnym czasem w celu zapewnienia realizacji zadań w tight deadlines i pod dużym stresem.
- Umiejętność otwartej, szczerej i niezależnej komunikacji z interesariuszami na wszystkich poziomach organizacji w celu zrozumienia ich celów biznesowych i procesów.
- Silne doświadczenie w tworzeniu i wdrażaniu skalowalnych potoków ETL i ELT na Azure Databricks przy użyciu PySpark, SQL, Notebooks, Jobs i Workflows.
- Ekspertyza w architekturze Lakehouse, Delta Lake oraz wzorcach warstw danych bronze, silver i gold, z umiejętnością opracowywania wielokrotnego użytku frameworków i bibliotek do transformacji danych.
- Doświadczenie w implementacji Unity Catalog, kontroli dostępu opartej na rolach, kontroli dostępu do danych, audytach oraz spójnych standardach katalogów, schematów i tabel.
- Umiejętność opracowywania zoptymalizowanych pod kątem wydajności zbiorów danych dla Power BI oraz współpracy nad modelami semantycznymi, kontraktami danych, strategiami odświeżania, rozwiązaniami Direct Lake i Direct Query, gdzie to możliwe.
- Doświadczenie w optymalizacji klastrów Databricks i harmonogramowania zadań, wdrażaniu monitorowania i alertów oraz wniesieniu wkładu w praktyki CI/CD przy użyciu Git i Azure DevOps lub GitHub.
Azure Data Engineer in Katowice – pracodawca: Aon plc
Aon plc w Krakowie to doskonały pracodawca, który oferuje elastyczne warunki pracy w modelu hybrydowym, co pozwala na równowagę między życiem zawodowym a prywatnym. Nasza kultura pracy opiera się na współpracy i wsparciu, a pracownicy mają możliwość rozwoju zawodowego poprzez różnorodne szkolenia i projekty. Dodatkowo, praca w międzynarodowym środowisku Aon zapewnia unikalne doświadczenia oraz dostęp do globalnych zasobów i wiedzy.
