Zakres obowiązków:
Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów do ingestowania, transformacji, wzbogacania i przetwarzania danych ustrukturyzowanych oraz nieustrukturyzowanych.
Projektowanie i optymalizacja modeli danych w relacyjnych, grafowych i NoSQL bazach; praca z knowledge graphs.
Modelowanie encji i relacji oraz wydajne ładowanie i odpytywanie danych.
Tworzenie reużywalnych komponentów przetwarzania danych i integracji ze źródłami oraz API.
Wdrażanie jakości danych, walidacji, data lineage i provenance.
Zapewnianie niezawodności i skalowalności pipeline'ów: przetwarzanie przyrostowe, obsługa błędów, ponawianie operacji i odzyskiwanie danych.
Współpraca z architektami, inżynierami i biznesem przy przekładaniu wymagań na rozwiązania techniczne.
Automatyzacja testów, CI/CD, monitorowanie i doskonalenie rozwiązań Data Engineering.
Projekt i współpraca:
Rozwój zaawansowanej Enterprise Knowledge Platform w międzynarodowym środowisku bankowym.
Projekt wykorzystuje technologie grafowe, nowoczesne architektury danych i rozwiązania do zarządzania wiedzą.
Rola hands-on, skoncentrowana na wyzwaniach inżynierskich, bez zarządzania zespołem.
Kogo poszukujemy? Wymagania kluczowe:
Kilkuletnie doświadczenie komercyjne jako Data Engineer, Senior Data Engineer lub na podobnym stanowisku.
Bardzo dobra znajomość Pythona i SQL.
Praktyczne doświadczenie z grafowymi bazami danych lub knowledge graphs, np. Neo4j, Amazon Neptune, JanusGraph lub podobnymi.
Doświadczenie w projektowaniu i rozwijaniu produkcyjnych pipeline'ów ETL/ELT.
Dobra znajomość modelowania danych w relacyjnych i NoSQL bazach.
Doświadczenie z danymi ustrukturyzowanymi i nieustrukturyzowanymi.
Znajomość jakości danych, data lineage, ewolucji schematów i niezawodności przetwarzania.
Doświadczenie ze środowiskami chmurowymi, orkiestracją danych i CI/CD.
Samodzielne rozwiązywanie złożonych problemów technicznych, dobre umiejętności komunikacyjne i współpraca.
Mile widziane:
Doświadczenie z ontologiami, RDF, SPARQL lub technologiami semantycznymi.
Znajomość języków zapytań grafowych, np. Cypher lub Gremlin.
Doświadczenie w budowaniu platform zarządzania wiedzą lub metadanymi.
Doświadczenie w sektorze bankowym, finansowym lub innych środowiskach regulowanych.
#J-18808-Ljbffr
Senior Data Engineer in Kielce – pracodawca: Solid Company
Nasza firma to doskonały pracodawca, który stawia na rozwój swoich pracowników oraz tworzy przyjazne i wspierające środowisko pracy. Oferujemy atrakcyjne benefity, w tym elastyczne godziny pracy oraz możliwość szkoleń, co sprzyja rozwojowi kariery w obszarze księgowości. Pracując u nas, będziesz częścią zespołu, który ceni współpracę i innowacyjność, a także ma dostęp do nowoczesnych narzędzi technologicznych w dynamicznej lokalizacji.
