W skrócie
- Zadania: Twórz i utrzymuj architekturę Data Lakehouse z użyciem nowoczesnych technologii.
- Firma: Międzynarodowa organizacja z autonomiczną kulturą pracy w Polsce.
- Benefity: Benefity zdrowotne, coaching, wydarzenia zespołowe i wsparcie w rozwoju.
- Pozostałe informacje: Możliwości rozwoju kariery w przyjaznej, skandynawskiej kulturze.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i rozwijaj swoje umiejętności w dynamicznym środowisku.
- Kwalifikacje: 4+ lata doświadczenia w inżynierii danych oraz znajomość Pythona i Spark.
Przewidywane wynagrodzenie mieści się w przedziale 62100 - 75900 zł za rok.
Jesteśmy częścią międzynarodowej organizacji notowanej na Nasdaq Stockholm, działającej w 11 krajach. W Polsce pracujemy z pełną autonomią. Niezależnie wybieramy nasze technologie, procesy i sposoby pracy, zachowując najwyższe standardy zawodowe. Realizujemy szeroki zakres projektów IT w Polsce i za granicą, w różnych dziedzinach i technologiach. Dzięki temu nasi konsultanci mogą rozwijać swoje kompetencje i zdobywać doświadczenie zgodne z ich ambicjami zawodowymi. Nasza współpraca opiera się na filozofii CARE, co oznacza odpowiedzialne dopasowanie projektów, przejrzystą współpracę i długoterminowe podejście do rozwoju zawodowego.
Projekt koncentruje się na budowaniu i utrzymywaniu skalowalnej architektury Data Lakehouse – przy użyciu Apache Iceberg, Delta Lake lub Apache Hudi – do przetwarzania danych w całym pipeline, od surowego wczytywania danych po wyrafinowane warstwy prezentacyjne. Rozwijaj się w środowisku, które dba o Twój rozwój tak samo jak Ty.
Twoje obowiązki:
- Data Lakehouse & Architektura: Projektowanie i utrzymywanie wersjonowanych warstw danych (Bronze, Silver, Gold) przy użyciu Apache Iceberg, Delta Lake lub Apache Hudi, w tym CI/CD dla ewolucji schematu.
- Integracja Spark & MongoDB: Budowanie potoków PySpark/Spark-SQL do rekonsyliacji danych między MongoDB a systemami źródłowymi, optymalizacja odczytów przy użyciu partycjonowania i push-down dopasowania.
- Optymalizacja wydajności i kosztów: Optymalizacja zadań Spark (AQE, caching, broadcast joins) w celu obniżenia latencji i minimalizacji kosztów przetwarzania Data Lakehouse.
- Jakość, monitorowanie & SLA: Implementacja automatycznych kontroli jakości danych, śledzenie SLA/SLO oraz rozproszone monitorowanie dla potoków wsadowych/strumieniowych przy użyciu Prometheus, Grafana i Dynatrace.
- Kubernetes & Automatyzacja: Automatyzacja wdrożeń aplikacji Spark na Kubernetes przy użyciu Dockera, Spark Operatora i potoków CI/CD.
- Dostawa & Współpraca: Diagnozowanie niezgodności danych, utrzymywanie dokumentacji technicznej, przeprowadzanie przeglądów kodu i współpraca w zespołach Agile (Scrum/Kanban).
Wymagania:
- 4+ lata praktycznego doświadczenia w inżynierii danych.
- Silna znajomość Pythona, PySpark, Spark-SQL, DataFrames i Structured Streaming.
- Udokumentowane doświadczenie z MongoDB (Spark Connector, indeksowanie) oraz Apache Iceberg (wersjonowanie tabel, upserts/merges).
- Praktyczne doświadczenie w automatyzacji CI/CD (Jenkins) oraz wdrożeniach kontenerowych na Kubernetes.
- Musisz mieszkać w Polsce i/lub być uprawniony do pracy tutaj.
Co oferujemy:
- Pracę w skandynawskiej kulturze opartej na logice i dialogu.
- Benefity zdrowotne i sportowe dostosowane do Twoich potrzeb.
- Speed Coaching – krótkie sesje, które dostarczają nowych perspektyw i rozwiązań.
- Treningi sportowe, wewnętrzny zespół oraz możliwości udziału w zawodach.
- Wydarzenia zespołowe i spotkania skoncentrowane na rozwoju.
Data Lakehouse Developer in Wrocław – pracodawca: B3 Consulting Poland
B3 Consulting Poland to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w sercu Warszawy. Nasza kultura opiera się na współpracy i innowacyjności, co sprzyja rozwojowi zawodowemu pracowników. Oferujemy elastyczne godziny pracy oraz możliwość korzystania z nowoczesnych narzędzi AI, co czyni nas idealnym miejscem dla specjalistów IT pragnących rozwijać swoje umiejętności w inspirującym otoczeniu.
