W skrócie
- Zadania: Zaprojektuj i zbuduj hurtownie danych oraz pipeline'y ETL/ELT w Pythonie.
- Firma: Dynamiczna firma rekrutacyjna z elastycznym podejściem do współpracy.
- Benefity: Praca 100% zdalnie, wsparcie w rozwoju zawodowym i elastyczne godziny pracy.
- Pozostałe informacje: Możliwość pracy z najnowszymi technologiami Azure i rozwój kariery w dynamicznym środowisku.
- Dlaczego ta praca: Rozwijaj swoje umiejętności w nowoczesnych technologiach i wpływaj na realne projekty.
- Kwalifikacje: Minimum 5 lat doświadczenia w data engineeringu i dobra znajomość Pythona.
Przewidywane wynagrodzenie mieści się w przedziale 90000 - 110000 zł za rok.
Miejsce pracy: 100% zdalnie
Zakres obowiązków:
- Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta
- Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion
- Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy
- Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania
- Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych
- Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi
- Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych
- Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych
- Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta
Wymagania:
- Minimum 5 lat komercyjnego doświadczenia w data engineeringu
- Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
- Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
- Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
- Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
- Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
- Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
- Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
- Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
- Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi
- Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem
Mile widziane:
- Znajomość Infrastructure as Code: Terraform lub Bicep
- Znajomość projektowania modeli danych na potrzeby Power BI
- Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament
Senior Data Engineer in Katowice – pracodawca: DCG
DCG to doskonały pracodawca, który stawia na rozwój swoich pracowników i wspiera ich w dążeniu do sukcesu. Oferujemy atrakcyjne benefity, takie jak prywatna opieka medyczna oraz dofinansowanie do karty sportowej, a także dynamiczną kulturę pracy, która sprzyja współpracy i innowacjom. Pracując z nami, masz szansę na rozwój zawodowy w obszarze zarządzania tożsamością i dostępem, w otoczeniu doświadczonych specjalistów w branży IT.
Naszym zdaniem te umiejętności pozwolą ci błyszczeć jako Senior Data Engineer in Katowice
Data Engineering
Python
ETL/ELT
SQL
Modelowanie wymiarowe
Architektura medallion
REST API
