Miejsce pracy: 100% zdalnie Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:
Zakres obowiązków:
Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń
Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML
Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą
Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych
Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów
Praca z repozytoriami Git i procesami CI/CD klienta
Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych
Wymagania:
Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament
Dane spółki:
DCG Sp. z o.o.,
Siedziba główna: ul. Towarowa 28, 00-839 Warszawa
Oddział: Aleja Grunwaldzka 50A, 80-241 Gdańsk
#J-18808-Ljbffr
Data Engineer (Python / Azure) in Katowice – pracodawca: DCG Poland
DCG to doskonały pracodawca, który stawia na rozwój swoich pracowników i wspiera ich w osiąganiu sukcesów w dynamicznym środowisku finansowym. Oferujemy atrakcyjne benefity, takie jak prywatna opieka medyczna oraz dofinansowanie do karty sportowej, a także przyjazną kulturę pracy, która sprzyja współpracy i innowacjom. Nasza lokalizacja umożliwia łatwy dostęp do międzynarodowych rynków, co stwarza unikalne możliwości rozwoju kariery w obszarze analizy roszczeń i regulacji.
