Miejsce pracy: 100% zdalnie
Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko: Zakres obowiązków: Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta Wymagania: Minimum 5 lat komercyjnego doświadczenia w data engineeringu Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem Mile widziane: Znajomość Infrastructure as Code: Terraform lub Bicep Znajomość projektowania modeli danych na potrzeby Power BI Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament Agencja doradztwa personalnego (nr licencji 4642) Dane spółki:
DCG Sp. z o.o., Siedziba główna: ul. Towarowa 28, 00-839 Warszawa Oddział: Aleja Grunwaldzka 50A, 80-241 Gdańsk
#J-18808-Ljbffr
Senior Data Engineer (Python / Azure) in Katowice – pracodawca: DCG Poland
DCG to doskonały pracodawca, który stawia na rozwój swoich pracowników i wspiera ich w osiąganiu sukcesów w dynamicznym środowisku finansowym. Oferujemy atrakcyjne benefity, takie jak prywatna opieka medyczna oraz dofinansowanie do karty sportowej, a także przyjazną kulturę pracy, która sprzyja współpracy i innowacjom. Nasza lokalizacja umożliwia łatwy dostęp do międzynarodowych rynków, co stwarza unikalne możliwości rozwoju kariery w obszarze analizy roszczeń i regulacji.
