W skrócie
- Zadania: Projektuj i wdrażaj rozwiązania do rekoncyliacji danych w architekturze Data Lakehouse.
- Firma: Clurgo - firma stworzona przez developerów dla developerów.
- Benefity: Praca hybrydowa, kontrakt B2B, profesjonalny proces rekrutacyjny.
- Pozostałe informacje: Dynamiczne środowisko z możliwością rozwoju kariery.
- Dlaczego ta praca: Zyskaj doświadczenie w pracy z nowoczesnymi technologiami w dużej organizacji bankowej.
- Kwalifikacje: Min. 4 lata doświadczenia w Apache Spark oraz znajomość MongoDB.
Przewidywane wynagrodzenie mieści się w przedziale 90000 - 110000 zł za rok.
Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.
Dołącz do zespołu Data Platform naszego Klienta z sektora bankowego, gdzie będziesz projektować i wdrażać rozwiązania do rekoncyliacji danych w ODS opartym o MongoDB oraz budować warstwy danych w architekturze Data Lakehouse. Rola łączy rozwój rozwiązań opartych o Apache Spark, PySpark i Spark SQL z optymalizacją przetwarzania danych, wdrażaniem CI/CD oraz monitoringiem procesów batch i streamingowych. Będziesz mieć wpływ na jakość, wydajność i niezawodność kluczowych procesów danych w środowisku dużej organizacji bankowej.
Technologie i narzędzia: Python, Apache Spark, PySpark, Spark-SQL, DataFrames, Structured Streaming, MongoDB, MongoDB Spark Connector, Delta Lake, Apache Iceberg, Hudi, Jenkins, Prometheus, Grafana, OpenTelemetry, Dynatrace, Kubernetes, Docker, Spark Operator.
Model hybrydowy: 1 raz w tygodniu z biura we Wrocławiu.
Szukamy Ciebie, jeśli:
- Posiadasz min. 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z wykorzystaniem Apache Spark.
- Masz doświadczenie z PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
- Posiadasz doświadczenie w odczycie i zapisie danych z/do MongoDB przy użyciu MongoDB Spark Connector.
- Posiadasz praktyczne doświadczenie z architekturą Data Lakehouse (zarządzanie tabelami wersjonowanymi przy użyciu Iceberg, Delta Lake lub Hudi).
- Znasz Jenkins i potrafisz automatyzować testy (unit/integration) oraz procesy deploymentu aplikacji Spark.
- Znasz narzędzia do monitoringu i obserwowalności (Prometheus, Grafana).
- Swobodnie komunikujesz się w języku angielskim (min. B2) i efektywnie pracujesz w metodykach Agile (Scrum/Kanban).
Mile widziane:
- Praktyczna znajomość Dynatrace i OpenTelemetry.
- Doświadczenie z Docker oraz Spark Operator w środowisku Kubernetes.
Zadania:
- Projektowanie i implementacja zadań Spark-SQL/PySpark do weryfikacji spójności danych między ODS (MongoDB) a systemami źródłowymi.
- Łączenie Spark z MongoDB przy użyciu MongoDB Spark Connector.
- Optymalizacja odczytów z MongoDB.
- Budowa architektury medalionowej z wykorzystaniem technologii Iceberg/Delta Lake/Hudi.
- Implementacja CI/CD dla schematów tabel, migracji i wersjonowania.
- Kosztowa optymalizacja zapytań w środowisku Data Lakehouse.
- Konfiguracja metryk (Prometheus + Grafana), logów oraz śledzenia (OpenTelemetry, Dynatrace) dla Spark i procesów batch/stream.
- Definiowanie SLA/SLO oraz alertów.
- Diagnoza problemów z rekordami, opóźnieniami i niezgodnościami danych.
- Praca w Scrum/Kanban z Data Engineerami, Business Analystami, testerami i zespołem DevOps.
Czego możesz się spodziewać:
- współpracy w oparciu o kontrakt B2B.
- pracy hybrydowej: raz w tygodniu z biura we Wrocławiu.
- profesjonalnego procesu rekrutacyjnego.
- zawsze otrzymasz od nas feedback niezależnie od decyzji.
Senior Data Engineer in Kielce – pracodawca: Clurgo Ltd.
Clurgo to doskonały pracodawca, który stawia na rozwój swoich pracowników oraz dba o równowagę między życiem zawodowym a prywatnym. Pracując w Warszawie jako Tech Lead / Architekt Systemowy, będziesz miał możliwość uczestniczenia w innowacyjnych projektach IT, korzystając z nowoczesnych technologii i narzędzi, a także rozwijając swoje umiejętności w dynamicznym zespole. Oferujemy elastyczny model pracy hybrydowej oraz profesjonalne wsparcie w procesie rekrutacyjnym, co czyni nas idealnym miejscem dla ambitnych specjalistów szukających znaczącej kariery.
