Senior Data Platform Engineer in Warsaw

Software Mind develops solutions that make an impact for companies around the globe. Tech giants & unicorns, transformative projects, emerging technologies and limitless opportunities - these are a few words that describe an average day for us. Building cross-functional engineering teams that take ownership and crave more means we’re always on the lookout for talented people who bring passion and creativity to every project. Nasza kultura obejmuje otwartość, szacunek, determinację i odwagę oraz łączy współpracę z przyjemnością.

Klient buduje platformę analizy ryzyka i oceny nowej generacji na Microsoft Fabric, a ta rola odpowiada za architekturę danych medalu end-to-end. Będziesz projektować i budować tabele Delta Bronze / Silver / Gold, funkcje potoków Fabric Spark, modele semantyczne Direct Lake oraz optymalizacje układu fizycznego. To nasza rola inżynieryjna o najwyższym wykorzystaniu w projekcie - centralna zarówno dla podstawy platformy fazy 1, jak i dostawy produktu ryzyka fazy 2, pracując obok starszego lidera technicznego, starszego inżyniera DevOps i średniego programisty.

Platforma przetwarza dane transakcyjne i handlowe od klientów za pośrednictwem SFTP i API, tokenizuje wrażliwe dane PAN na granicy przetwarzania, używając naszego zarezerwowanego formatu HMAC, i umieszcza dane w kanonicznym Silver na Microsoft Fabric zgodnie z naszą wewnętrzną specyfikacją kanoniczną. Zbudujesz potok, który popularyzuje kanoniczny Silver za pomocą MERGE, konsumujesz go za pomocą skrótów OneLake i materializujesz tabele Gold specyficzne dla ryzyka, które zasilają zarówno niestandardowe zasady DMN, jak i wstępnie oceniane zasilania Mastercard Brighterion.

Jak będziesz się przyczyniać:

• Projektowanie i wdrażanie schematów tabel Delta Bronze, kanonicznego Silver i Gold z bezpiecznym układem fizycznym PAN - konfiguracja listy dozwolonych statystyk, płynne grupowanie, celowe ustawienia retencji, optymalizacja V-Order.
• Budowanie notatników Fabric Spark dla potoku funkcji (rolujące cechy prędkości w oknach 24h / 7d / 30d, cechy na poziomie handlowca, hierarchiczne podsumowania, cechy międzyhandlowe za pomocą połączeń pan_token).
• Tworzenie adapterów Silver według wersji smaku - jedna funkcja na smak, połączone według nazwy, testowane przeciwko złotym wzorcom.
• Budowanie DAG MERGE kanonicznego (Bronze - kanoniczny Silver, idempotentny na _natural_key zgodnie z wewnętrzną specyfikacją kanoniczną Fabric v1.4).
• Budowanie potoku materializacji Gold dla obu ziaren (fact_transaction_risk, fact_merchant_risk) z poprawnym stemplowaniem źródła wyniku i idempotentną semantyką scalania.
• Projektowanie i wdrażanie modeli semantycznych Direct Lake zgodnie z powierzchnią raportowania; testowanie wydajności na reprezentatywnych wolumenach danych.
• Konfigurowanie układów przestrzeni nazw OneLake, katalogów roboczych i relacji skrótów między przestrzeniami roboczymi z programem residuals.
• Ustanawianie idempotentnych wzorców zapisu Delta przy użyciu delta-rs z kontenerów Pythona (segmentowane równoległe zapisy z pojedynczym atomowym zatwierdzeniem).
• Wielkość pojemności Fabric (wybór F-SKU, testowanie obciążenia, decyzje dotyczące rezerwacji vs PAYG).
• Współpraca z inżynierem DevOps nad IaC Fabric (provisioning pojemności Terraform oraz bootstrap przestrzeni roboczej Fabric REST).
• Konsultacje w zakresie ClickHouse, jeśli opóźnienie Direct Lake okaże się niewystarczające dla interfejsów użytkownika na poziomie klienta.

Oczekiwania - doświadczenie, którego potrzebujesz:

• 5+ lat doświadczenia w inżynierii danych, z co najmniej 2-letnim doświadczeniem w rozwoju Spark (preferowany PySpark).
• Ekspertyza w formacie Parquet - stopki, listy dozwolonych statystyk, rozmiar grup wierszy, kodowanie słownikowe, indeksy kolumn.
• Praktyczne doświadczenie z Microsoft Fabric - przestrzenie robocze, pojemności, notatniki, lakehouses, modele semantyczne, Direct Lake, punkt końcowy analityki SQL.
• Umiejętności optymalizacji wydajności SQL zarówno dla obciążeń OLAP (Fabric), jak i OLTP (PostgreSQL).
• Umiejętność jasnego komunikowania architektury na piśmie oraz samodzielnej pracy nad dobrze określonymi funkcjami.

Dodatkowe umiejętności - przewaga, którą masz:

• Tło w zakresie usług finansowych lub płatności.
• Znajomość opublikowanych wzorców zarządzania standardami danych - model logiczny vs profil fizyczny, wymiary SCD2, idempotencja klucza naturalnego, magazyny atrybutów rozszerzeń.
• Skróty OneLake i wzorce lakehouse między przestrzeniami roboczymi.
• Znajomość ClickHouse lub podobnego silnika OLAP.
• Terraform dla zasobów danych Azure.
• Poprzednie doświadczenie z elastycznymi lub schematycznymi wzorcami przetwarzania.

Co oferujemy:

• Elastyczne i zdalne opcje współpracy.
• Międzynarodowe projekty z wiodącymi globalnymi klientami.
• Podróże związane z międzynarodowymi projektami.
• Niekorporacyjna atmosfera.
• Dostęp do zajęć językowych.
• Dostęp do inicjatyw dzielenia się wiedzą.
• Dostęp do prywatnej opieki zdrowotnej i ubezpieczenia na życie.
• Dostęp do karty multisport.

Dostępność i warunki indywidualnych świadczeń mogą się różnić w zależności od wybranej formy współpracy.