W skrócie
- Zadania: Twórz skalowalne rozwiązania danych na platformie Azure i współpracuj z zespołem.
- Firma: Aon - firma, która kształtuje lepsze decyzje dla ludzi na całym świecie.
- Benefity: Elastyczny model pracy, konkurencyjne wynagrodzenie i możliwości rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z doskonałymi możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na decyzje biznesowe.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz umiejętności współpracy w zespole.
Przewidywane wynagrodzenie mieści się w przedziale 54000 - 66000 zł za rok.
Jako inżynier danych Azure Databricks, będziesz pracować z zespołem nad projektowaniem i dostarczaniem skalowalnych potoków danych, rozwiązań Lakehouse oraz zarządzanych platform danych na Azure. Zastosujesz swoją wiedzę w zakresie PySpark, SQL, Delta Lake, Unity Catalog i Power BI, aby tworzyć bezpieczne, niezawodne i wydajne rozwiązania danych.
Twoje biuro znajduje się w Krakowie, a ta rola jest dostępna zarówno w modelu hybrydowym 50/50, jak i w pełni zdalnym.
Co będzie wyglądać jak dzień pracy:
- Facylitowanie warsztatów w celu omówienia, przeglądania i dokumentowania wymagań dotyczących raportowania biznesowego.
- Ustanawianie najlepszych praktyk w zakresie architektury danych, zarządzania, bezpieczeństwa, wydajności i niezawodności platformy.
- Rozwój i wdrażanie skalowalnych potoków integracji danych na Azure Databricks przy użyciu PySpark, SQL, Notebooks, Jobs i Workflows.
- Budowanie i utrzymywanie architektur Lakehouse przy użyciu Delta Lake oraz warstw danych bronze, silver i gold wspierających analitykę i raportowanie.
- Tworzenie solidnych, wielokrotnego użytku systemów i zbiorów do transformacji danych.
- Wdrażanie i zarządzanie Unity Catalog w celu zapewnienia centralnego zarządzania danymi, tabelami i uprawnieniami.
- Definiowanie i egzekwowanie kontroli dostępu opartych na rolach, kontroli dostępu do danych oraz audytów zgodnie z wymaganiami bezpieczeństwa i zgodności.
- Standaryzacja konwencji nazewnictwa katalogów, schematów i tabel w różnych środowiskach.
- Dostarczanie dobrze modelowanych, zoptymalizowanych pod kątem wydajności zbiorów danych dla Power BI i innych narzędzi analityki biznesowej.
- Współpraca z deweloperami BI i analitykami w celu definiowania modeli semantycznych, kontraktów danych i strategii odświeżania.
- Wsparcie w projektowaniu i rozwoju nowych raportów.
- Rozwiązywanie problemów i optymalizacja wydajności zapytań między Power BI a Databricks, w tym Direct Lake i Direct Query, gdzie to możliwe.
- Konfigurowanie i poprawa klastrów Databricks, polityk klastrów i harmonogramów zadań pod kątem kosztów, wydajności i niezawodności.
- Wdrażanie monitorowania, logowania i alertów dla potoków danych i zadań.
- Wkład w poprawę procesów CI/CD dla kodu Databricks przy użyciu Git i Azure DevOps lub GitHub.
- Badanie technologii AI/ML i możliwości wdrażania potoków uczenia maszynowego, które generują mierzalną wartość biznesową.
Jak ta okazja jest inna:
Ta rola daje możliwość rozwijania skalowalnych i zarządzanych rozwiązań danych, które bezpośrednio wspierają analitykę przedsiębiorstwa i podejmowanie decyzji biznesowych. Połączysz praktyczne inżynierstwo z technicznym przywództwem, pomagając ustanowić najlepsze praktyki w zakresie architektury danych, zarządzania, bezpieczeństwa, wydajności i niezawodności platformy.
Umiejętności i doświadczenie, które prowadzą do sukcesu:
- Silne doświadczenie w tworzeniu i wdrażaniu skalowalnych potoków ETL i ELT na Azure Databricks przy użyciu PySpark, SQL, Notebooks, Jobs i Workflows.
- Ekspertyza w architekturze Lakehouse, Delta Lake oraz wzorcach warstw danych bronze, silver i gold, z umiejętnością rozwijania wielokrotnego użytku frameworków i bibliotek transformacji danych.
- Doświadczenie w implementacji Unity Catalog, kontroli dostępu opartej na rolach, kontroli dostępu do danych, audytów oraz spójnych standardów katalogów, schematów i tabel.
- Umiejętność rozwijania zoptymalizowanych pod kątem wydajności zbiorów danych dla Power BI oraz współpracy nad modelami semantycznymi, kontraktami danych, strategiami odświeżania, rozwiązaniami Direct Lake i Direct Query, gdzie to możliwe.
- Doświadczenie w optymalizacji klastrów Databricks i harmonogramowania zadań, wdrażaniu monitorowania i alertów oraz wkładzie w praktyki CI/CD przy użyciu Git i Azure DevOps lub GitHub.
- Znajomość procesów biznesowych i terminologii w branży finansowej i ubezpieczeniowej.
- Praca samodzielna, samomotywacja i organizacja, zarządzanie własnym czasem w celu zapewnienia ukończenia zadań z możliwością pracy w napiętych terminach i pod dużym stresem.
- Umiejętność otwartej, szczerej i niezależnej komunikacji z interesariuszami na wszystkich poziomach organizacji w celu zrozumienia ich celów biznesowych i procesów.
Azure Data Engineer in Kraków – pracodawca: Aon
Aon to doskonały pracodawca, oferujący elastyczne warunki pracy w modelu hybrydowym oraz możliwość wpływania na globalne projekty. Nasza kultura pracy opiera się na współpracy i innowacyjności, a pracownicy mają dostęp do licznych możliwości rozwoju zawodowego oraz szkoleń, co sprzyja ich osobistemu i zawodowemu wzrostowi. Pracując w Aon, będziesz częścią zespołu, który dąży do pozytywnego wpływu na świat, co czyni tę rolę nie tylko satysfakcjonującą, ale i znaczącą.
