W skrócie
- Zadania: Twórz i utrzymuj rozwiązania inżynieryjne danych w złożonym środowisku Big Data.
- Firma: Międzynarodowa firma finansowa z nowoczesnym podejściem do technologii.
- Benefity: Stabilne zatrudnienie, praca zdalna, nowoczesny stos technologiczny i rozwój zawodowy.
- Pozostałe informacje: Współpraca z międzynarodowym zespołem w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj nad regulacyjnymi projektami, które mają realny wpływ na sektor finansowy.
- Kwalifikacje: Doświadczenie w Scala, Hadoop, Spark oraz umiejętności SQL.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Poszukujemy doświadczonego Inżyniera Danych, który dołączy do międzynarodowego zespołu pracującego nad strategiczną inicjatywą regulacyjną w sektorze finansowym. Będziesz rozwijać i utrzymywać platformę danych oraz procesy raportowania działające w złożonym środowisku Big Data.
Obowiązki:
- Projektowanie, rozwijanie i utrzymywanie rozwiązań inżynieryjnych danych przy użyciu Hadoop i Apache Spark.
- Budowanie skalowalnych rozwiązań do przetwarzania dużych wolumenów danych.
- Analiza złożonych wymagań biznesowych i tłumaczenie ich na efektywne rozwiązania techniczne.
- Rozwój i optymalizacja zapytań SQL oraz przepływów pracy przetwarzania danych.
- Budowanie i ulepszanie potoków danych oraz procesów raportowania.
- Tworzenie i utrzymywanie przepływów pracy przy użyciu Apache Oozie i Apache Airflow.
- Rozwój rozwiązań danych przy użyciu Scali.
- Praca z architekturą opartą na zdarzeniach przy użyciu Apache Kafka.
- Utrzymywanie i poprawa procesów CI/CD przy użyciu Git, pull requestów i Jenkins.
- Zapewnienie wsparcia L3 dla środowisk produkcyjnych.
- Badanie incydentów produkcyjnych i problemów technicznych we współpracy z odpowiednimi zespołami operacyjnymi.
- Współpraca z interesariuszami biznesowymi w celu definiowania wymagań i analizy problemów.
- Zapewnienie jakości, wydajności, bezpieczeństwa i niezawodności rozwiązań danych.
Wymagania:
- Silne doświadczenie praktyczne z Scalą.
- Doświadczenie komercyjne z Apache Hadoop.
- Praktyczna wiedza o Apache Spark i przetwarzaniu danych na dużą skalę.
- Doświadczenie w budowaniu i utrzymywaniu potoków inżynieryjnych danych.
- Doświadczenie z Apache Kafka i architekturą opartą na zdarzeniach.
- Praktyczna wiedza o procesach CI/CD, szczególnie Jenkins.
- Bardzo dobra znajomość Gita, przeglądów kodu i procesów pull requestów.
- Silne umiejętności w zakresie rozwoju i optymalizacji SQL.
- Doświadczenie w wsparciu środowisk produkcyjnych.
- Umiejętność samodzielnego badania złożonych problemów technicznych.
- Znajomość języka angielskiego wystarczająca do codziennej pracy w międzynarodowym zespole.
- Dostępność do pracy z biura w Warszawie lub Gdańsku dwa razy w tygodniu.
- Możliwość wykonywania pracy z Polski.
Miło widziane:
- Doświadczenie z Kubernetes.
- Znajomość Apache Flink.
- Doświadczenie z Apache Airflow lub Apache Oozie.
- Poprzednie zaangażowanie w projekty regulacyjne lub raportowe.
- Doświadczenie w sektorze finansowym.
Co oferujemy:
- Udział w strategicznej inicjatywie regulacyjnej mającej realny wpływ na sektor finansowy.
- Pracę w dużym i zaawansowanym środowisku Big Data.
- Nowoczesny stos technologiczny obejmujący Scalę, Hadoop, Spark, Kafka, Airflow i Jenkins.
- Wysoki poziom niezależności i wpływu na rozwiązania techniczne.
- Współpracę z doświadczonym międzynarodowym zespołem.
- Stabilną, długoterminową współpracę.
- Profesjonalne środowisko skoncentrowane na jakości, bezpieczeństwie i rozwoju ekspertów.
- Możliwość zdobycia doświadczenia w regulacjach finansowych i raportowaniu regulacyjnym.
Senior Data Engineer – Scala / Spark / Hadoop (f/m) in Warsaw – pracodawca: b2bnetwork
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku technologicznym. Pracując jako Cloud IT Architect, będziesz częścią zespołu, który kładzie duży nacisk na innowacje i współpracę, a także korzysta z najnowszych technologii chmurowych w sektorze finansowym. Oferujemy elastyczne godziny pracy, programy rozwoju umiejętności oraz przyjazną atmosferę, co sprawia, że jesteśmy idealnym miejscem dla profesjonalistów szukających satysfakcjonującej kariery.
