W skrócie
- Zadania: Zaprojektuj i zbuduj nowoczesne hurtownie danych oraz pipeline'y ETL/ELT w Pythonie.
- Firma: Dynamiczna firma technologiczna z innowacyjnym podejściem do danych.
- Benefity: Prywatna opieka medyczna, dofinansowanie karty sportowej i stałe wsparcie konsultanta.
- Pozostałe informacje: Możliwość rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na rozwój danych w firmie.
- Kwalifikacje: Minimum 5 lat doświadczenia w data engineeringu i dobra znajomość Pythona.
Przewidywane wynagrodzenie mieści się w przedziale 90000 - 110000 zł za rok.
Zakres obowiązków:
- Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta.
- Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion.
- Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy.
- Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania.
- Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych.
- Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi.
- Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych.
- Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych.
- Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta.
Oferujemy:
- Prywatną opiekę medyczną.
- Dofinansowanie karty sportowej.
- Stałe wsparcie konsultanta.
- Program rekomendacji pracowników.
Kogo poszukujemy?
Wymagania:
- Minimum 5 lat komercyjnego doświadczenia w data engineeringu.
- Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse.
- Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion.
- Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności.
- Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL.
- Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML.
- Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych.
- Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric.
- Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions.
- Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi.
- Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem.
Mile widziane:
- Znajomość Infrastructure as Code: Terraform lub Bicep.
- Znajomość projektowania modeli danych na potrzeby Power BI.
- Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament.
Senior Data Engineer in Katowice – pracodawca: Solid Company
Nasza firma to doskonały pracodawca, który stawia na rozwój swoich pracowników oraz tworzy przyjazne i wspierające środowisko pracy. Oferujemy atrakcyjne benefity, w tym elastyczne godziny pracy oraz możliwość szkoleń, co sprzyja rozwojowi kariery w obszarze księgowości. Pracując u nas, będziesz częścią zespołu, który ceni współpracę i innowacyjność, a także ma dostęp do nowoczesnych narzędzi technologicznych w dynamicznej lokalizacji.
Naszym zdaniem te umiejętności pozwolą ci błyszczeć jako Senior Data Engineer in Katowice
Data Engineering
Hurtownie danych
Lakehouse
Modelowanie wymiarowe
Star Schema
Architektura Medallion
Python
