W skrócie
- Zadania: Twórz i utrzymuj potoki danych oraz aplikacje przy użyciu Pythona i Apache Spark.
- Firma: Wiodąca firma bankowa w Polsce z nowoczesnymi projektami.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwość rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z możliwością pracy zdalnej co drugi tydzień.
- Dlaczego ta praca: Pracuj nad innowacyjnymi rozwiązaniami Big Data i wpływaj na kluczowe procesy biznesowe.
- Kwalifikacje: Minimum 3 lata doświadczenia w programowaniu w Pythonie lub Scali oraz znajomość technologii Big Data.
Przewidywane wynagrodzenie mieści się w przedziale 62100 - 75900 zł za rok.
Poszukujemy wykwalifikowanego inżyniera Big Data do dołączenia do ekscytującego projektu dla wiodącego klienta bankowego, jednego z czołowych graczy na polskim rynku. Będziesz pracować nad budowaniem i ulepszaniem rozwiązań Big Data, które wspierają kluczowe procesy biznesowe, wykorzystując nowoczesne technologie i najlepsze praktyki inżynieryjne. To możliwość pracy w Warszawie. Zespół odwiedza biuro raz na dwa tygodnie.
Obowiązki:
- Pisanie i utrzymywanie potoków danych oraz aplikacji przy użyciu Pythona
- Praca z Apache Spark i innymi narzędziami Big Data w celu przetwarzania dużych ilości danych
- Używanie zasad hurtowni danych, aby dane były dobrze zorganizowane i wiarygodne
- Przestrzeganie dobrych praktyk inżynieryjnych: czytelny kod, odpowiednie testowanie, dokumentacja i czysty design
- Obsługa różnych formatów danych, takich jak JSON, Parquet, ORC i Avro
- Pisanie i poprawianie zapytań SQL w celu efektywnej pracy z danymi
- Łączenie danych z różnych źródeł w jeden system
Idealny kandydat powinien mieć:
- Minimum 3-letnie doświadczenie w programowaniu w Pythonie lub Scali
- Doświadczenie komercyjne i znajomość technologii Big Data, Spark jest koniecznością
- Znajomość zasad hurtowni danych
- Znajomość dobrych praktyk inżynieryjnych, przetwarzania Big Data, w tym standardów projektowania, technik modelowania danych, kodowania, dokumentacji, testowania i wdrażania
- Doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO
- Zrozumienie typów baz danych i scenariuszy ich użycia, np. Hive, Kudu, HBase, Iceberg itp.
- Zaawansowana znajomość SQL
- Doświadczenie w integracji danych z wielu źródeł danych
- Znajomość narzędzi do budowania projektów/aplikacji, np. Maven
- Zaawansowana znajomość języka polskiego i dobra znajomość języka angielskiego
Silnym atutem będzie:
- Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum itp.
- Znajomość platformy Kubeflow
- Znajomość technologii i narzędzi strumieniowych, takich jak Kafka, Apache Nifi
BigData Engineer (Python + Spark) in Warsaw – pracodawca: Integral Solutions - Informatica Distributor
Integral Solutions to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku. Pracując w Warszawie, będziesz częścią zespołu ekspertów, realizujących innowacyjne projekty dla największych organizacji w Polsce i za granicą, z dostępem do szkoleń oraz benefitów takich jak prywatne ubezpieczenie medyczne i karta Multisport. Nasza kultura pracy opiera się na współpracy, samodzielności oraz ciągłym doskonaleniu umiejętności, co czyni nas idealnym miejscem dla ambitnych profesjonalistów w dziedzinie integracji danych.
Dane kontaktowe:
Zespół rekrutacyjny Integral Solutions - Informatica Distributor
