W skrócie
- Zadania: Rozwijaj procesy przetwarzania danych w chmurze i buduj frameworki walidacyjne.
- Firma: Nexio Management - zespół ekspertów IT z ponad 20-letnim doświadczeniem.
- Benefity: Elastyczne formy współpracy, Medicover, FitProfit i treningi na siłowni.
- Pozostałe informacje: Stabilność zatrudnienia i możliwość rozwoju w różnych obszarach IT.
- Dlaczego ta praca: Pracuj nad innowacyjnymi projektami w międzynarodowym środowisku.
- Kwalifikacje: Min. 4 lata doświadczenia w inżynierii danych i zaawansowany Python.
Przewidywane wynagrodzenie mieści się w przedziale 72000 - 88000 zł za rok.
Nexio Management to około 550 konsultantów, którzy od ponad 20 lat tworzą zaawansowane rozwiązania IT dla firm w Polsce i za granicą.
Jesteśmy zespołem ekspertów, którzy realnie angażują się w projekty swoich klientów.
Specjalizujemy się w budowie, rozwoju i utrzymaniu systemów i aplikacji, oraz doradztwie IT.
Wierzymy, że najlepsze rozwiązania powstają wtedy, gdy jest przestrzeń na eksperymentowanie - dlatego mamy własne R&D Center na czele z Nexio Bot naszym mobilnym robotem asystującym, wykorzystującym sztuczną inteligencję do komunikacji.
Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team.
Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.
Opis stanowiska Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + Py Spark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego.
Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.
Twój zakres obowiązków
Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
Projektowanie i optymalizacja zadań Spark / Py Spark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
Budowa frameworków walidacyjnych w Py Spark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /Py Spark.
Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (Big Query).
Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.
Nasze wymagania
Min. 4+ lat doświadczenia w inżynierii danych w środowiskach rozproszonych.
Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
Doświadczenie z Py Spark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
Praktyczna znajomość Dataproc, Big Query oraz Cloud Storage.
Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
Dobry angielski (min. B2 do codziennej komunikacji w projekcie).
Mile widziane: Doświadczenie w domenie bankowej lub finansowej.
Stabilność zatrudnienia - długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.
Elastyczne formy współpracy - umowa B2B, umowa o pracę lub zlecenie.
Benefity: Medicover (rozszerzony o stomatologię), Fit Profit, lekcje języka angielskiego.
Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.
Wewnętrzny program poleceń.
Możliwość finansowania certyfikatów IT.
W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.
Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespół również poza biurem.
Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #Pomagamy Nexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.
#J-18808-Ljbffr
Data Engineer (Python, Apache Spark, Hadoop) (m/n/k) in Warsaw – pracodawca: Nexio Management Ltd.
Nexio Management Ltd. to doskonały pracodawca, który stawia na innowacyjność i rozwój swoich pracowników w dynamicznej branży IT. Oferujemy elastyczne formy współpracy oraz możliwość pracy nad nowoczesną chmurową platformą danych, co sprzyja zdobywaniu cennych umiejętności i doświadczenia. Nasza kultura pracy opiera się na współpracy i wsparciu, co sprawia, że każdy członek zespołu ma szansę na osobisty i zawodowy rozwój.
