Senior PySpark Developer in Warsaw

Senior PySpark Developer in Warsaw

Warsaw Pełny etat 121500 - 148500 zł / rok (szac.) Hybrydowo
L

W skrócie

  • Zadania: Twórz i rozwijaj rozwiązania dla platformy raportowania regulacyjnego.
  • Firma: Duży amerykański bank inwestycyjny z globalnym zespołem.
  • Benefity: Atrakcyjne wynagrodzenie, możliwość pracy zdalnej i rozwój zawodowy.
  • Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery.
  • Dlaczego ta praca: Pracuj nad dużymi danymi i wpływaj na globalne raportowanie.
  • Kwalifikacje: 6+ lat doświadczenia w Pythonie i 2+ lata w PySpark.

Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.

Opis projektu: Dołączysz do platformy raportowania regulacyjnego w dużym amerykańskim banku inwestycyjnym. Platforma odpowiada za zbieranie, przetwarzanie i transformację dużych wolumenów danych z wielu wewnętrznych systemów w celu generowania raportów regulacyjnych dla 240 jurysdykcji na całym świecie. W sumie platforma wspiera około 10 000 raportów w szerokim zakresie obszarów regulacyjnych, zgodności, finansowych i ryzykownych. Jest to platforma danych o dużej skali, krytyczna dla biznesu, działająca w ściśle regulowanym środowisku, gdzie dokładność danych, jakość, śledzenie i terminowa dostawa są kluczowe. Zespół pracuje nad budowaniem i ulepszaniem potoków danych, wdrażaniem logiki raportowania, zapewnianiem walidacji i uzgadniania danych oraz wspieraniem generowania złożonych wyników regulacyjnych.

Obowiązki:

  • Projektowanie, rozwijanie i utrzymywanie rozwiązań dla dużej platformy raportowania regulacyjnego.
  • Budowanie i ulepszanie potoków przetwarzania danych przy użyciu Javy i Apache Spark.
  • Wdrażanie skalowalnej logiki dla pobierania, transformacji, agregacji i wzbogacania danych z wielu wewnętrznych źródeł danych.
  • Rozwój i optymalizacja zadań przetwarzania wsadowego w celu wspierania generowania raportów regulacyjnych w różnych jurysdykcjach.
  • Zapewnienie wysokich standardów jakości danych, walidacji, uzgadniania i spójności przez cały cykl raportowania.
  • Tłumaczenie wymagań biznesowych i regulacyjnych na solidne rozwiązania techniczne.
  • Współpraca z analitykami biznesowymi, inżynierami QA i zespołami międzyfunkcyjnymi w celu dostarczenia funkcjonalności raportowania.
  • Badanie i rozwiązywanie problemów z danymi i aplikacjami w środowiskach deweloperskich, testowych i produkcyjnych.
  • Poprawa wydajności aplikacji, skalowalności i niezawodności dla obciążeń przetwarzania danych o dużej objętości.
  • Wkład w projektowanie i wdrażanie komponentów wielokrotnego użytku oraz najlepszych praktyk inżynieryjnych.
  • Uczestnictwo w przeglądach kodu, testowaniu i działaniach związanych z wydaniem, aby zapewnić wysoką jakość dostarczanych produktów.
  • Ścisła współpraca z rozproszonymi zespołami w Ukrainie, Polsce i USA w modelu dostawy Agile.
  • Wsparcie ciągłego doskonalenia platformy, w tym monitorowanie, rozwiązywanie problemów i stabilność operacyjną.

Umiejętności:

  • Musisz mieć: 6+ lat doświadczenia komercyjnego z Pythonem, 2+ lata doświadczenia z PySpark, doświadczenie w projektowaniu i rozwijaniu skalowalnych, wysokowydajnych aplikacji backendowych, dobrą znajomość SQL i pracy z dużymi zestawami danych z wielu źródeł danych, silne umiejętności rozwiązywania problemów oraz zdolność do efektywnej pracy w globalnym zespole rozproszonym.
  • Miło widziane: doświadczenie w usługach finansowych, bankowości inwestycyjnej lub projektach raportowania regulacyjnego, znajomość jakości danych, uzgadniania i ram kontrolnych, doświadczenie w pracy z dużymi platformami danych przedsiębiorstwa, znajomość środowisk chmurowych i nowoczesnych architektur platform danych, zrozumienie praktyk CI/CD i zautomatyzowanych potoków wdrożeniowych, doświadczenie w pracy w zespołach Agile/Scrum w rozproszonym globalnym środowisku.

Senior PySpark Developer in Warsaw – pracodawca: Luxoft

Nasza firma to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w sercu innowacji technologicznych. Wspieramy rozwój zawodowy naszych pracowników poprzez mentoring oraz dostęp do najnowszych technologii, a także promujemy kulturę współpracy i otwartości. Pracując z nami, będziesz miał okazję uczestniczyć w projektach, które mają realny wpływ na branżę, a lokalizacja w centrum miasta zapewnia wygodny dostęp do licznych udogodnień.

L

Dane kontaktowe:

Zespół rekrutacyjny Luxoft

Naszym zdaniem te umiejętności pozwolą ci błyszczeć jako Senior PySpark Developer in Warsaw

Python
PySpark
Java
Apache Spark
SQL
Data Processing Pipelines
Data Validation