Data Engineer (Python) in Warsaw

Opis: Szukamy Mid / Mid+ Data Engineer, który dołączy do zespołu rozwijającego platformę Feature Store - rozwiązanie odpowiedzialne za obliczanie, przechowywanie i udostępnianie cech używanych przez modele uczenia maszynowego. Będziesz pracować nad rozwojem produkcyjnej platformy danych, budując i optymalizując potoki przetwarzające duże wolumeny informacji. Projekty obejmują pobieranie danych z hurtowni analitycznych, przetwarzanie rozproszone, przygotowywanie i przechowywanie danych oraz udostępnianie ich systemom i modelom ML. Python jest głównym językiem programowania, a nasze codzienne technologie to PySpark, Polars, Airflow, ClickHouse, Delta Lake i Apache Iceberg. Używamy również Go w wybranych komponentach.

Zadania:

• Projektowanie, rozwijanie i utrzymywanie platformy Feature Store.
• Budowanie i rozwijanie potoków przetwarzania danych w Pythonie.
• Przetwarzanie dużych wolumenów danych przy użyciu narzędzi takich jak PySpark i Polars.
• Integracja z hurtowniami danych i systemami analitycznymi.
• Przygotowywanie i przechowywanie danych w formatach używanych w architekturach data lake i lakehouse.
• Orkiestracja i automatyzacja przepływów danych.
• Rozwój komponentów i usług wspierających platformę danych.
• Przygotowywanie i udostępnianie cech używanych przez modele ML, w tym w scenariuszach online.
• Optymalizacja wydajności, kosztów i skalowalności przepływów pracy przetwarzania danych.
• Zapewnienie jakości, poprawności i spójności danych, w tym walidacji, obsługi schematów i idempotencji procesów.
• Debugowanie, analiza błędów i rozwiązywanie problemów technicznych.
• Praca z konteneryzacją i środowiskami uruchomieniowymi opartymi na Dockerze i Kubernetes.
• Zapewnienie jakości kodu, testowalności i utrzymywalności rozwiązań.
• Udział w projektowaniu architektury danych i rozwiązań technicznych.
• Współpraca z naukowcami danych, inżynierami ML, programistami backendowymi, architektami i właścicielami produktów.
• Praca z użytkownikami platformy, pomoc w rozwiązywaniu problemów i doradzanie w zakresie korzystania z dostępnych rozwiązań.
• Udział w szacowaniu zadań, przeglądach kodu i planowaniu projektów.
• Używanie narzędzi AI wspierających programowanie i automatyzujących pracę programistów.

Wymagania:

• Bardzo dobra znajomość Pythona.
• Doświadczenie w budowaniu, rozwijaniu i utrzymywaniu produkcyjnych potoków danych.
• Praktyczna znajomość PySpark lub innego narzędzia do przetwarzania rozproszonego.
• Bardzo dobra znajomość SQL.
• Doświadczenie w przetwarzaniu dużych zbiorów danych, w tym wolumenów przekraczających dostępną pamięć.
• Znajomość narzędzi do orkiestracji przepływu danych, np. Airflow lub Argo Workflows.
• Praktyczna znajomość Gita i Dockera.
• Znajomość dobrych praktyk projektowania i rozwijania potoków danych.
• Umiejętność pisania czytelnego, testowalnego i utrzymywalnego kodu.
• Umiejętność debugowania i analizy problemów technicznych.
• Samodzielność w realizacji zadań i odpowiedzialność za dostarczone rozwiązania.
• Myślenie nastawione na rozwiązywanie problemów i skupienie na znajdowaniu praktycznych rozwiązań.
• Uwagi na jakość kodu, poprawność danych i dobre praktyki rozwoju.
• Otwartość na komunikację z użytkownikami platformy, zrozumienie ich potrzeb i wsparcie w korzystaniu z rozwijanych rozwiązań.
• Chęć ciągłego rozwoju i nauki nowych technologii.
• Umiejętność komunikacji w języku polskim.
• Gotowość do pracy w modelu hybrydowym.

Bedzie plusem:

• Doświadczenie z formatami i technologiami lakehouse, np. Delta Lake lub Apache Iceberg.
• Znajomość biblioteki Polars.
• Doświadczenie z bazami danych analitycznych, np. ClickHouse lub StarRocks.
• Znajomość Redis lub innych rozwiązań używanych do szybkiego serwowania danych.
• Znajomość Go.
• Doświadczenie z frameworkiem Django lub budowaniem usług backendowych wspierających platformy danych.
• Doświadczenie z platformami Feature Store, np. Feast, Tecton lub Hopsworks.
• Znajomość MLOps i przygotowywania danych dla modeli uczenia maszynowego.
• Znajomość narzędzi do przetwarzania danych rozproszonych i zarządzania zadaniami obliczeniowymi, np. Ray lub Kubeflow.
• Doświadczenie z systemami kolejek wiadomości i strumieniowania danych, np. Kafka.
• Doświadczenie z Kubernetes i środowiskami chmurowymi, np. GCP lub Azure.
• Doświadczenie z CI/CD i automatyzowaniem procesów deweloperskich.
• Doświadczenie w pisaniu testów jednostkowych, integracyjnych i testów jakości danych.
• Umiejętność pracy z narzędziami monitorującymi, logującymi i obserwowalnymi.
• Umiejętność efektywnej pracy z narzędziami AI wspierającymi programowanie, np. Claude Code, Cursor, Codex, Gemini CLI, GitHub Copilot lub podobnymi narzędziami.
• Otwartość na podejście agentowe w kodowaniu i automatyzację niektórych zadań deweloperskich.

Warunki:

• Współpraca B2B.
• Hybrydowy model pracy.
• Pełny etat lub współpraca w podobnej liczbie godzin.
• Projekty komercyjne, produkcyjne i wdrożeniowe.
• Język roboczy: polski.
• Proponowana stawka: 80-140 PLN netto za godzinę + VAT na B2B. Ostateczna stawka zależy od doświadczenia, samodzielności, znajomości Pythona i technologii big data, doświadczenia w budowaniu produkcyjnych potoków danych oraz gotowości do pracy z narzędziami AI wspierającymi programowanie.
• Praca nad rozwojem produkcyjnej platformy Feature Store.
• Udział w projektach AdTech i e-commerce na styku inżynierii danych i uczenia maszynowego.
• Praca z dużymi wolumenami danych i technologiami big data.
• Możliwość rozwijania istniejących systemów i budowania nowych komponentów od podstaw.
• Współpraca z doświadczonym zespołem technologicznym i data science.
• Możliwość wpływania na architekturę danych, wybór rozwiązań technicznych i jakość kodu.
• Praca z nowoczesnym ekosystemem przetwarzania danych, w tym Spark, Polars, Delta Lake, Iceberg i ClickHouse.
• Możliwość proponowania ulepszeń technicznych i optymalizacji istniejących rozwiązań.
• Możliwość korzystania z nowoczesnych narzędzi AI wspierających programowanie.
• Możliwość rozwoju w kierunku roli Senior Data Engineer, ML Platform Engineer, Tech Lead lub Data Architect.