W skrócie
- Zadania: Zarządzaj architekturą lakehouse i przetwarzaj dane finansowe w czasie rzeczywistym.
- Firma: Dynamiczna firma fintech z innowacyjnym podejściem do danych.
- Benefity: Elastyczny harmonogram pracy, możliwość pracy hybrydowej oraz rozwój zawodowy.
- Pozostałe informacje: Świetne możliwości kariery w szybko rozwijającym się sektorze fintech.
- Dlaczego ta praca: Pracuj z danymi na dużą skalę i wpływaj na przyszłość finansów.
- Kwalifikacje: 2 lata doświadczenia w środowisku lakehouse i umiejętności SQL.
Przewidywane wynagrodzenie mieści się w przedziale 51525 - 62975 zł za rok.
Opis: Data lakehouse firmy przechowuje codziennie miliony zdarzeń finansowych, w tym zakłady, transakcje portfelowe i aktualne kursy, obsługując ponad 12 milionów aktywnych użytkowników.
Zadania:
- Właściciel architektury lakehouse, w tym warstw brązowej/srebrnej/złotej, tabel Iceberg/Delta oraz ewolucji schematu.
- Ingestowanie danych operacyjnych przez CDC streaming z użyciem Kafka i Debezium, obsługując późne i duplikowane zdarzenia.
- Projektowanie układów danych pod kątem szybkości i kosztów, w tym partycjonowanie, kompresję, rozmiar plików oraz wydajność zapytań na Trino/Athena/Snowflake.
- Właściciel retencji i archiwizacji, w tym tiering przechowywania, regulacyjna retencja, niemutowalność oraz usuwanie zgodne z RODO.
- Zapewnienie poprawności danych poprzez SLA świeżości, wykrywanie dryfu oraz rekonsyliację z systemami źródłowymi portfela i księgi.
- Właściciel zarządzania, w tym katalogi i linie, kontrola dostępu do wierszy/kolumn, maskowanie PII, szyfrowanie oraz ślady audytu.
- Monitorowanie zdrowia ingestii, anomalii danych oraz wydatków na przechowywanie i obliczenia w chmurze.
Wymagania:
- 2 lata praktycznego doświadczenia w produkcyjnym środowisku lakehouse.
- Doświadczenie z architekturą lakehouse, warstwami brązową/srebrną/złotą, otwartym formatem tabel (Iceberg, Delta lub Hudi) oraz ewolucją schematu.
- Doświadczenie z układem danych i optymalizacją zapytań na skali TB+, w tym partycjonowaniem, kompresją, rozmiarem plików oraz wydajnością zapytań na Trino/Athena/Snowflake.
- Doświadczenie produkcyjne z chmurą lakehouse/DWH: Snowflake, Databricks lub BigQuery.
- Doświadczenie z CDC i ingestią strumieniową przy użyciu Kafka i Debezium lub równoważnych, w tym późnymi, duplikowanymi i zdarzeniami poza kolejnością.
- Silne umiejętności SQL i modelowania danych, z wiedzą relacyjną do rozumienia przechwyconych systemów OLTP, szczególnie ksiąg finansowych.
- Doświadczenie z praktykami poprawności, w tym SLA świeżości, wykrywaniem dryfu oraz rekonsyliacją z systemami źródłowymi portfela/księgi.
- Doświadczenie z zarządzaniem, w tym katalogami, liniami, kontrolą dostępu do wierszy/kolumn, maskowaniem PII, retencją oraz usuwaniem zgodnym z RODO.
- Doświadczenie z obiektowym przechowywaniem w chmurze (S3 lub GCS), tieringiem przechowywania oraz archiwizacją.
- Python i orkiestrator taki jak Airflow lub Dagster.
Warunki: Hybrydowy harmonogram: 2 dni w tygodniu z biura.
Data Engineer in Fintech in Kraków – pracodawca: Comm-IT
Comm-IT oferuje pracownikom możliwość pracy w dynamicznym środowisku fintech, gdzie można rozwijać swoje umiejętności w zakresie architektury lakehouse i zarządzania danymi. Pracownicy mają dostęp do nowoczesnych technologii oraz projektów związanych z przetwarzaniem dużych zbiorów danych, co sprzyja ich zawodowemu rozwojowi. Firma stawia na jakość danych i zgodność z regulacjami, co zapewnia stabilne i odpowiedzialne miejsce pracy.
