Data Engineer for Clickstream Data in Warsaw

Vento to usługa, która standaryzuje i waliduje zdarzenia clickstream Allegro. Wspiera wysokiej jakości dane dla agentów AI oraz podstawowych pulpitów biznesowych.

Zakres obowiązków:

• Projektowanie, skalowanie, rozwijanie i utrzymywanie pipeline'ów walidacji danych dla danych clickstream o dużej objętości w ramach usługi Vento.
• Implementacja mechanizmów wykrywania anomalii w celu zapewnienia integralności i jakości danych przed ich załadunkiem do rdzeniowej warstwy zasobów danych.
• Współpraca z interesariuszami z różnych działów w celu uzgodnienia wymagań dotyczących danych.
• Udział w dyskusjach inżynieryjnych, przeglądach kodu oraz inicjatywach międzyzespołowych.

Wymagania:

• Doświadczenie w produkcji w ekosystemach Big Data oraz budowaniu stabilnych pipeline'ów danych.
• Biegłość w Pythonie i Sparku, z otwartością na pracę z aplikacjami backendowymi w Javie.
• Zrozumienie zasad jakości danych, walidacji kontraktów zdarzeń, wykrywania anomalii oraz przetwarzania danych strumieniowych.
• Otwartość na feedback, udział w przeglądach kodu oraz chęć rozwijania umiejętności.
• Proaktywna komunikacja, umiejętność sygnalizowania problemów technicznych oraz odpowiedzialność za zadania z wysokim poziomem autonomii.
• Szeroka perspektywa techniczna i zainteresowanie tym, jak Big Data, Backend i Frontend się łączą.
• Entuzjazm do korzystania z narzędzi AI do automatyzacji powtarzalnych zadań i optymalizacji procesów.
• Znajomość języka polskiego na poziomie C1 oraz angielskiego na poziomie B2.

Preferencje:

• Znajomość Scali.

Warunki:

• Elastyczne godziny pracy; rozpoczęcie pracy między 7:00 a 10:00.
• Hybrydowy grafik: 4/1, z 30 dniami okazjonalnej pracy zdalnej.
• Wynagrodzenie Data Engineer: 14 600 - 20 825 PLN na podstawie umowy o pracę, z kosztami uzyskania przychodu.
• Roczny bonus oparty na wynikach rocznych i wynikach firmy.
• Dobrze zlokalizowane biura z w pełni wyposażonymi kuchniami, parkingiem dla rowerów i zielonymi tarasami.
• Narzędzia pracy obejmują MacBooka Pro 16" lub 14" lub odpowiadającego Della z systemem Windows, plus niezbędne akcesoria.
• Benefity w postaci pakietów medycznych, sportowych lub lunchowych, ubezpieczenia oraz bonów zakupowych.
• Płatne lekcje angielskiego związane z charakterem pracy.
• Budżet na szkolenia, turystyka międzyzespołowa, hackathony oraz wewnętrzna platforma edukacyjna z wieloma szkoleniami.
• Dodatkowy dzień wolny na wolontariat.
• Wydarzenia społeczne dla pracowników Allegro.
• Dostęp do nowoczesnych narzędzi AI oraz wewnętrznego ekosystemu technologicznego, w tym Kubernetes, Docker, Consul, GitHub i GitHub Actions.
• Rola oferuje autonomię w organizacji zespołu, ciągły rozwój oraz możliwości wypróbowania nowych rozwiązań.
• Rozwiązania są używane przez miliony klientów.
• Skala Allegro obejmuje ponad 1000 mikroserwisów, otwarty bus danych (Hermes) z 300K+ rps, Service Mesh z 1M+ rps, dziesiątki petabajtów danych oraz produkcyjnie używaną uczenie maszynowe.
• Allegro Tech uczestniczy w konferencjach branżowych i społecznościach technologicznych, prowadzi bloga i podcasty, prowadzi gildie oraz organizuje Allegro Tech Meeting.