Data Engineer in Lakehouse in Warsaw

EazyStock to "startup" w ramach Syncron, globalnej firmy lidera rynku, która rozwija rozwiązania do optymalizacji usług posprzedażowych. EazyStock współpracuje z małymi i średnimi firmami, pomagając im optymalizować zapasy i osiągać wysokie poziomy satysfakcji klientów bez angażowania nadmiernego kapitału w zbędne zapasy.

Zakres obowiązków:

• Projektowanie i budowa lakehouse EazyStock na S3 z Apache Iceberg jako formatem tabeli, AWS Glue do ETL/ELT i katalogowania oraz Amazon Athena jako silnikiem zapytań.
• Budowanie niezawodnej integracji danych i pobierania z źródeł operacyjnych.
• Dostarczanie zarządzanej repliki analitycznej, która usuwa obciążenie raportowania z systemów produkcyjnych.
• Projektowanie strategii partycjonowania, kompaktowania, migawki i retencji; odpowiedzialność za wydajność zapytań i efektywność kosztową w chmurze.
• Dostarczanie czystych, dobrze modelowanych danych do Qlik Cloud i do konsumentów AI/ML.
• Definiowanie i wdrażanie standardów jakości danych i zarządzania danymi, z automatyczną walidacją i znaczącym alertowaniem.
• Wprowadzanie kontraktów danych, dyscypliny ewolucji schematu i praktyk DataOps, aby producenci i konsumenci mogli ewoluować niezależnie.
• Ustanawianie zarządzania metadanymi, katalogów danych i linii jako integralnej części platformy.
• Budowanie CI/CD dla potoków danych, infrastruktury i konfiguracji przy użyciu GitHub, Jenkins i narzędzi AWS DevOps; traktowanie infrastruktury jako kodu.
• Implementacja obserwowalności dla potoków: metryki, logowanie, tryby awaryjne, SLA i runbooki.
• Projektowanie pod kątem powtarzalności i rollbacku — brak ręcznych operacji produkcyjnych.
• Budowanie i obsługa potoków MLOps na AWS — pakowanie modeli, wdrażanie, wersjonowanie, monitorowanie i ponowne uczenie.
• Wsparcie naszych inicjatyw GenAI: kuracja danych i indeksowanie dla RAG, potoki osadzania oraz Amazon OpenSearch jako magazyn wektorowy, z modelami serwowanymi przez Amazon Bedrock.
• Wprowadzenie dyscypliny inżynieryjnej do pracy AI — ocena, obserwowalność, kontrola kosztów i bezpieczeństwo — aby funkcje AI były wspierane, a nie eksperymentami w przebraniu.
• Mentorowanie i podnoszenie umiejętności inżynierów, którzy są silnymi programistami, ale nowymi w dziedzinie danych.

Wymagania:

• 6+ lat doświadczenia zawodowego w zakresie inżynierii danych i inżynierii oprogramowania, z systemami produkcyjnymi, które posiadałeś od początku do końca i nadal za nimi stoisz.
• Silne doświadczenie w projektowaniu potoków ETL/ELT, modeli danych i integracji danych z różnych źródeł.
• Silne umiejętności modelowania danych oraz rzeczywiste doświadczenie w zarządzaniu metadanymi, katalogami danych i linią.
• Praktyczne doświadczenie w zakresie jakości danych i zarządzania danymi.
• Doświadczenie w zakresie kontraktów danych, praktyk DataOps i ewolucji schematu w środowisku wielokonsumenckim.
• Pewność w zakresie DevOps i CI/CD: Jenkins lub równoważny, infrastruktura jako kod, konteneryzacja (Kubernetes).
• Głębokie, praktyczne doświadczenie z zestawem danych AWS — S3, AWS Glue, Amazon Athena, IAM, Lambda — oraz z operacyjną stroną uruchamiania obciążeń w chmurze.
• Praktyczne doświadczenie z Apache Spark, Apache Iceberg (lub porównywalnym otwartym formatem tabeli, takim jak Delta Lake / Hudi) — w tym operacyjne realia: kompaktowanie, ewolucja partycji, zarządzanie migawkami.
• Silne umiejętności SQL i PostgreSQL — optymalizacja zapytań, indeksowanie, plany wykonania, replikacja i CDC.
• Silne umiejętności w Pythonie i solidna znajomość Javy — możesz zarządzać usługą backendową, a nie tylko ją wywoływać.
• Doświadczenie w integracji z Qlik lub inną platformą BI dla przedsiębiorstw.
• Certyfikat inżyniera danych: Google Professional Data Engineer, Microsoft Certified Fabric Data Engineer, AWS Certified Data Engineer, Databricks Certified Data Engineer, Snowflake SnowPro Advanced Data Engineer lub równoważny.

Preferencje:

• Znajomość klasycznego ML — scikit-learn, XGBoost, pandas;
• Doświadczenie w prowadzeniu budowy platformy danych od podstaw lub znacznej migracji danych do chmury;
• Doświadczenie z Airflow, dbt lub podobnymi;
• Doświadczenie z SageMaker, MLflow, Kubeflow lub porównywalnymi narzędziami cyklu życia modelu;
• Praktyczne doświadczenie z systemami opartymi na LLM — RAG, osadzenia, bazy danych wektorowe lub API LLM w kontekście produkcyjnym lub poważnym prototypie;
• Praktyczne doświadczenie z MLOps: wdrażanie modeli do produkcji, wersjonowanie, monitorowanie i ponowne uczenie — oraz gotowość do zarządzania cyklem życia modelu, a nie tylko danymi, które go zasilają;
• Doświadczenie w dziedzinie łańcucha dostaw, zapasów, cen lub realizacji usług.

Warunki:

• Wpływowa praca – Twoje wkład będzie bezpośrednio kształtować przyszłość produktu EazyStock i dostarczać wymierną wartość klientom na całym świecie.
• Kultura napędzana innowacjami – dołącz do zespołu, który rozwija się dzięki kreatywności, współpracy i nowoczesnej technologii.
• Rozwój zawodowy – możliwości prowadzenia strategicznych inicjatyw, wpływania na kierunek produktu i poszerzania swojej wiedzy w zakresie AI i SaaS.
• Globalne środowisko – praca z kolegami i klientami w wielu krajach w prawdziwie międzynarodowym otoczeniu.
• Elastyczność – hybrydowy model pracy, który wspiera równowagę między życiem zawodowym a prywatnym.