Data Engineer in Katowice

To jest zdalna pozycja.

Podsumowanie

Ta kluczowa rola jest dedykowana architekturze, budowie i utrzymaniu solidnej infrastruktury danych niezbędnej do generowania wniosków organizacyjnych. Sukcesywny kandydat będzie stanowił fundament dostępności i integralności danych, zapewniając, że złożone zestawy danych są efektywnie przetwarzane i przekształcane w inteligencję działania. Poprzez łączenie surowych źródeł danych z aplikacjami analitycznymi, ta pozycja odgrywa kluczową rolę w wspieraniu podejmowania decyzji strategicznych i optymalizacji procesów operacyjnych w całym przedsiębiorstwie.

Poszukujemy Inżyniera Danych, który dołączy do naszej praktyki Data & AI, budując nowoczesne platformy danych dla naszych klientów na Microsoft Azure i Azure Databricks. Ta rola jest dobrze dopasowana do ambitnego, skoncentrowanego na kliencie technologa, który chce zdobyć praktyczne doświadczenie z najnowszymi technologiami platformy danych Microsoft - Microsoft Fabric i Azure Databricks - aby dostarczać skalowalne potoki, które napędzają analitykę i AI.

Będziesz pracować obok architektów, naukowców danych i interesariuszy klientów, aby pobierać, czyścić, przygotowywać i dostarczać zaufane dane oraz budować interfejsy API, które łączą te dane z aplikacjami downstream i raportowaniem.

Obowiązki

• Projektowanie, rozwijanie i wdrażanie skalowalnych potoków danych, aby ułatwić płynny ruch informacji z różnych źródeł do centralnych repozytoriów.
• Ścisła współpraca z naukowcami danych i analitykami w celu zrozumienia specyficznych potrzeb danych i dostarczania wysokiej jakości, niezawodnych rozwiązań danych.
• Monitorowanie i optymalizacja wydajności istniejących systemów danych, aby zapewnić maksymalną efektywność, niezawodność i bezpieczeństwo.
• Wdrażanie polityk i standardów zarządzania danymi w celu utrzymania dokładności, spójności i zgodności z wymaganiami regulacyjnymi.
• Rozwiązywanie i usuwanie złożonych problemów z danymi, w tym problemów z jakością danych, awarii potoków i wyzwań integracyjnych.
• Dokumentowanie procesów technicznych, architektur danych i specyfikacji systemów, aby zapewnić transfer wiedzy i ciągłość operacyjną.

Wymagania

• Projektowanie, budowanie i utrzymywanie potoków danych wsadowych i strumieniowych przy użyciu Microsoft Fabric, Azure Data Factory i Azure Databricks, z Pythonem, PySpark i SQL.
• Pobieranie danych z ustrukturyzowanych, pół-ustrukturyzowanych i nieustrukturyzowanych źródeł - baz danych, interfejsów API, plików i strumieni zdarzeń - do zarządzanych środowisk lakehouse.
• Wsparcie pełnej podróży danych w projektach klientów: pobieranie, czyszczenie, przygotowanie, transformacja i dostarczanie zestawów danych gotowych do analityki.
• Wdrażanie logiki transformacji zgodnie z wzorcami architektury Medallion (Brązowy, Srebrny, Złoty) w Azure Data Lake Storage (ADLS Gen2), OneLake i/lub Delta Lake.
• Budowanie i konsumowanie interfejsów API oraz wielokrotnego użytku usług danych, które udostępniają dane do raportowania, aplikacji i analityki downstream.
• Pisanie czystego, dobrze przetestowanego kodu i uczestniczenie w przeglądach kodu przez rówieśników.
• Stosowanie podstaw modelowania danych (wymiarowe, znormalizowane, star-schema) do strukturyzacji danych dla analityki, Power BI i przypadków użycia raportowania.
• Wdrażanie kontroli jakości danych, reguł walidacji i monitorowania, aby zapewnić, że potoki są dokładne, kompletne i niezawodne.
• Rozwiązywanie awarii potoków danych, wąskich gardeł wydajności i rozbieżności danych, eskalując i rozwiązując problemy na czas.
• Dokumentowanie przepływów danych, modeli danych i logiki transformacji dla odbiorców technicznych i klientów.

Współpraca i dostarczanie dla klientów

• Bezpośrednia współpraca z interesariuszami klientów, analitykami i naukowcami danych w celu zrozumienia wymagań dotyczących danych i przetłumaczenia ich na rozwiązania techniczne.
• Współpraca z senior inżynierami i architektami, aby zapewnić, że Twoja praca jest zgodna z szerszymi standardami platformy i zarządzania.
• Wsparcie praktyk bezpieczeństwa danych, kontroli dostępu i zarządzania (np. Microsoft Purview, dostęp oparty na rolach).
• Uzyskanie wiedzy na temat tego, jak dane są aktywowane dla systemów frontowych i wczesnych przypadków użycia typu Data Agent/Copilot.
• Uczestnictwo w ceremoniach zwinnych - planowanie sprintów, stand-upy i estymacje - jako część zespołu dostarczającego.

Kwalifikacje

• 1-3 lata doświadczenia zawodowego w inżynierii danych lub pokrewnej roli technicznej (odpowiednie staże i projekty akademickie brane pod uwagę dla kandydatów na poziomie podstawowym).
• Znajomość Pythona i SQL, z praktycznym doświadczeniem w pisaniu kodu produkcyjnego.
• Doświadczenie z PySpark i zrozumienie rozproszonego przetwarzania danych.
• Znajomość ekosystemu danych Microsoft Azure (Azure Data Factory, Microsoft Fabric, ADLS Gen2) i/lub Azure Databricks; Delta Lake i Unity Catalog to dodatkowy atut.
• Praktyczna wiedza na temat koncepcji modelowania danych i podstaw hurtowni danych.
• Zrozumienie koncepcji ETL/ELT i cyklu życia danych od pobierania do aktywacji.
• Znajomość budowania lub konsumowania interfejsów API do integracji danych.
• Znajomość kontroli wersji (Git) i podstawowych koncepcji CI/CD (Azure DevOps to dodatkowy atut).
• Silne umiejętności analityczne i rozwiązywania problemów z dużą uwagą na dokładność danych.
• Komfort w komunikacji zarówno z technicznymi rówieśnikami, jak i, z czasem, interesariuszami klientów.
• Odpowiednie certyfikaty (np. Microsoft Azure Data Engineer Associate) są dodatkowym atutem, ale nie są wymagane.