W skrócie
- Zadania: Integruj zewnętrzne API i przetwarzaj dane w formatach JSON/XML.
- Firma: DCG Sp. z o.o. - innowacyjna firma rekrutacyjna z elastycznym podejściem.
- Benefity: Praca 100% zdalnie, wsparcie w rozwoju zawodowym i elastyczne godziny pracy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery.
- Dlaczego ta praca: Zyskaj doświadczenie w pracy z nowoczesnymi technologiami i realnym wpływie na projekty.
- Kwalifikacje: Minimum 3 lata doświadczenia jako Data Engineer oraz znajomość Pythona i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 72000 - 88000 zł za rok.
Miejsce pracy: 100% zdalnie
Zakres obowiązków:
- Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń
- Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML
- Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą
- Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych
- Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów
- Praca z repozytoriami Git i procesami CI/CD klienta
- Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych
Wymagania:
- Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
- Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
- Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
- Dobra znajomość SQL
- Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
- Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
- Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
- Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
- Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
- Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
- Znajomość zasad przygotowania modeli danych pod Power BI
- Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament
Dane spółki: DCG Sp. z o.o., Siedziba główna: ul. Towarowa 28, 00-839 Warszawa, Oddział: Aleja Grunwaldzka 50A, 80-241 Gdańsk
Data Engineer in Katowice – pracodawca: DCG
DCG to doskonały pracodawca, który stawia na rozwój swoich pracowników i wspiera ich w dążeniu do sukcesu. Oferujemy atrakcyjne benefity, takie jak prywatna opieka medyczna oraz dofinansowanie do karty sportowej, a także dynamiczną kulturę pracy, która sprzyja współpracy i innowacjom. Pracując z nami, masz szansę na rozwój zawodowy w obszarze zarządzania tożsamością i dostępem, w otoczeniu doświadczonych specjalistów w branży IT.
Naszym zdaniem te umiejętności pozwolą ci błyszczeć jako Data Engineer in Katowice
Python
REST API
JSON
XML
ETL
ELT
SQL
