Senior Data Engineer in Katowice

DCG rozumie, że każda firma jest napędzana przez doświadczonych profesjonalistów. Nasz styl zarządzania i podejście partnerskie pozwalają nam spełniać Twoje potrzeby i zapewniać ciągłe wsparcie. Z powodu naszego ciągłego wzrostu oraz dużej liczby projektów rekrutacyjnych, które realizujemy dla naszych partnerów, obecnie poszukujemy:

Obowiązki:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań danych w środowiskach Azure Synapse, Azure Databricks i Data Lakehouse.
• Implementacja i optymalizacja procesów ETL/ELT do pobierania, przekształcania i udostępniania danych w różnych obszarach biznesowych.
• Rozwój i utrzymanie rozwiązań przetwarzania danych przy użyciu Pythona, SQL i Apache Spark.
• Wsparcie inicjatyw migracyjnych i modernizacyjnych, w tym adopcja Unity Catalog, aktualizacje platformy i transformacje platformy danych.
• Budowanie i utrzymywanie przepływów pracy w Databricks, Delta Live Tables (DLT), ramki opartej na metadanych oraz procesów orkiestracji.
• Współpraca z architektami, analitykami i interesariuszami biznesowymi w celu przekształcenia wymagań biznesowych w rozwiązania techniczne.
• Zapewnienie jakości danych, niezawodności, wydajności i bezpieczeństwa na platformie danych.
• Rozwiązywanie incydentów produkcyjnych, przeprowadzanie analizy przyczyn źródłowych i wdrażanie działań korygujących.
• Udział w CI/CD, automatyzacji infrastruktury, monitorowaniu, logowaniu i najlepszych praktykach operacyjnych.
• Optymalizacja potoków danych, struktur przechowywania i obciążeń przetwarzania w celu zwiększenia efektywności i redukcji kosztów.
• Udział w przeglądach rozwiązań i architektury, promując standardy inżynieryjne i zasady zarządzania.
• Wsparcie dzielenia się wiedzą, mentoringu i rozwoju technicznego w zespole.
• Współpraca z architektami danych i zespołami platformowymi w celu dostosowania rozwiązań do architektury danych przedsiębiorstwa, zasad Lakehouse i wymagań dotyczących zarządzania.
• Wsparcie raportowania, analityki i inicjatyw AI/ML poprzez zapewnienie niezawodnych i skalowalnych fundamentów danych.

Wymagania:

• Silne doświadczenie z Apache Spark, Pythonem i SQL.
• Udokumentowane doświadczenie w budowaniu i utrzymywaniu procesów ETL/ELT.
• Praktyczne doświadczenie z Databricks, Delta Live Tables (DLT) i Unity Catalog.
• Zrozumienie architektury Lakehouse, zarządzania danymi, bezpieczeństwa, zgodności i doskonałości operacyjnej.
• Znajomość CI/CD, Azure DevOps, automatyzacji infrastruktury, monitorowania i logowania.
• Silne umiejętności analityczne i rozwiązywania problemów.
• Umiejętność pracy samodzielnej z wysokim poziomem odpowiedzialności i zaangażowania.
• Proaktywne podejście do identyfikowania ryzyk, przeszkód i możliwości poprawy.
• Silne umiejętności komunikacyjne i zarządzania interesariuszami w zespołach technicznych i biznesowych.
• Doświadczenie w pracy w dynamicznych środowiskach z często zmieniającymi się priorytetami i zespołami międzyfunkcyjnymi.
• Umiejętność podejmowania pragmatycznych decyzji i dostarczania wyników pomimo niepełnych wymagań.
• Elastyczność, odporność, umiejętność organizacji pracy oraz zdolność do samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań.
• Znajomość języka angielskiego na poziomie co najmniej B2+.

Oferta:

• Prywatna opieka medyczna.
• Współfinansowanie karty sportowej.
• Ciągłe wsparcie dedykowanego konsultanta.