W skrócie
- Zadania: Projektuj i implementuj procesy przetwarzania danych w Apache Spark i PySpark.
- Firma: Dynamiczny zespół Data Platform w innowacyjnej firmie technologicznej.
- Benefity: Praca zdalna, prywatna opieka medyczna i dofinansowanie zajęć sportowych.
- Pozostałe informacje: Elastyczne godziny pracy i wsparcie w onboardingu.
- Dlaczego ta praca: Rozwijaj swoje umiejętności w nowoczesnej architekturze Data Lakehouse i wpływaj na realne projekty.
- Kwalifikacje: Doświadczenie w Apache Spark, MongoDB oraz programowaniu w Pythonie.
Przewidywane wynagrodzenie mieści się w przedziale 72000 - 88000 zł za rok.
Nasze wymagania:
- Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames
- Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse
- Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark
- Umiejętność programowania w Pythonie w kontekście przetwarzania danych
- Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins
- Znajomość narzędzi monitoringu Prometheus i Grafana w kontekście diagnozowania procesów danych
- Doświadczenie w pracy w metodyce Scrum
Mile widziane:
- Znajomość MongoDB Spark Connector
- Doświadczenie w przetwarzaniu strumieniowym (Structured Streaming)
- Znajomość Delta Lake
- Znajomość Apache Hudi
- Doświadczenie w pracy w metodyce Kanban
- Znajomość Jira
- Znajomość Confluence
O projekcie:
Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości.
Zakres obowiązków:
- Projektowanie i implementacja procesów w Spark SQL / PySpark
- Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
- Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
- Integracja Apache Spark z MongoDB
- Budowa i rozwój warstw Data Lakehouse
- Optymalizacja wydajności procesów Spark
- Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych
Oferujemy:
- Kontrakt B2B
- Praca zdalna
- Język pracy: polski + angielski
- Prywatna opieka medyczna
- Dofinansowanie zajęć sportowych
- Wsparcie formalne od dokumentów po onboarding
Spark / Data Lakehouse Developer (k/m/x) in Wrocław – pracodawca: B2B.NET S.A.
B2B.NET S.A. to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w Gdyni, sprzyjające innowacjom i rozwojowi zawodowemu. Nasza kultura pracy opiera się na współpracy i ciągłym doskonaleniu, co pozwala naszym pracownikom na rozwijanie swoich umiejętności w obszarze technologii Microsoft Identity. Oferujemy atrakcyjne benefity oraz możliwość pracy nad projektami w dużym środowisku bankowym, co czyni nas idealnym miejscem dla specjalistów pragnących realizować swoje ambicje w branży IT.
