Data Platform Engineer (Apache Druid)
Lokalizacja: 100% zdalnie Forma współpracy: B2B Stawka: do 175 PLN netto + VAT/h Okres projektu: 01.12.2026 – 31.05.2027 O projekcie
Dla naszego klienta – międzynarodowej firmy technologicznej rozwijającej platformę chmurową do zarządzania komunikacją z klientami, automatyzacją oraz marketingiem opartym na danych – poszukujemy Data Platform Engineera ze znajomością Apache Druid. Projekt koncentruje się na rozwoju i utrzymaniu nowoczesnej platformy danych oraz ekosystemu analitycznego przetwarzającego duże wolumeny danych. Osoba na tym stanowisku będzie odpowiedzialna za rozwój procesów ingestii, agregacji i wzbogacania danych, optymalizację wydajności oraz zapewnienie skalowalności i bezpieczeństwa platformy. Zakres usługi
Rozwój i utrzymanie pipeline'ów ingestii danych w Apache Druid oraz tworzenie własnych rozszerzeń (extensions). Integracja Apache Druid z zewnętrznymi systemami lookup. Budowanie i utrzymywanie pipeline'ów danych opartych na Apache Kafka. Udział w rozwoju przetwarzania strumieniowego z wykorzystaniem Apache Flink. Implementacja procesów pre-agregacji i wzbogacania danych. Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali. Projektowanie mechanizmów wzbogacania metadanych w różnych systemach przechowywania danych. Integracja i utrzymanie mechanizmów kontroli dostępu RBAC. Praca z usługami AWS, w szczególności S3, Aurora i IAM. Współpraca z zespołami rozwijającymi platformę danych oraz architekturę Lakehouse. Wymagania
Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń. Doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych z wykorzystaniem Apache Kafka. Znajomość Apache Flink lub podobnych technologii do przetwarzania strumieniowego. Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i wydajności baz danych przy dużych wolumenach danych. Doświadczenie w implementacji mechanizmów wzbogacania metadanych w platformach danych. Doświadczenie w integracji i utrzymaniu rozwiązań RBAC w różnych systemach przechowywania danych. Praktyczna znajomość AWS, szczególnie S3, Aurora i IAM. Umiejętność rozwiązywania złożonych problemów inżynierskich oraz współpracy z zespołem. Mile widziane
Doświadczenie z ClickHouse. Znajomość Apache Iceberg i architektury Lakehouse. Doświadczenie z technologiami federacji zapytań, np. Trino lub Amazon Athena. Doświadczenie w pracy z platformami danych przetwarzającymi duże wolumeny danych.
#J-18808-Ljbffr
Data Platform Engineer (Apache Druid) in Warsaw – pracodawca: RITS
Nasz klient to jedna z wiodących firm ubezpieczeniowych w Polsce, która stawia na nowoczesne technologie i rozwój swoich pracowników. Oferuje elastyczny model pracy, gdzie tylko jeden dzień w miesiącu wymagana jest obecność w biurze w Łodzi, co sprzyja równowadze między życiem zawodowym a prywatnym. Pracownicy mają możliwość uczestniczenia w innowacyjnych projektach oraz korzystania z zaawansowanych narzędzi, co sprzyja ich rozwojowi zawodowemu i osobistemu.
