Wymagania:
Min. 5-letnie doświadczenie na podobnym stanowisku,- Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń. Doświadczenie w budowaniu i utrzymywaniu pipeline’ów danych opartych na Apache Kafka. Znajomość Apache Flink lub innych technologii przetwarzania strumieniowego. Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i tuningu wydajności baz danych. Doświadczenie w implementacji mechanizmów metadata enrichment w platformach danych. Praktyczne doświadczenie w integracji i utrzymaniu rozwiązań RBAC w środowiskach obejmujących wiele baz i źródeł danych. Doświadczenie w pracy z AWS, szczególnie S3, Aurora i IAM. Umiejętność rozwiązywania złożonych problemów związanych z inżynierią danych i skalowalnością platform. Umiejętność analitycznego myślenia i efektywnej współpracy zespołowej. Codzienne zadania:
Rozwój i utrzymanie procesów ingestii danych w Apache Druid oraz tworzenie dedykowanych rozszerzeń (extensions). Projektowanie, budowanie i utrzymanie pipeline’ów danych opartych na Apache Kafka. Rozwój rozwiązań do przetwarzania danych strumieniowych z wykorzystaniem Apache Flink lub podobnych technologii. Implementacja mechanizmów preagregacji i wzbogacania danych (data enrichment). Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali. Projektowanie i wdrażanie mechanizmów wzbogacania metadanych (metadata enrichment) w różnych systemach danych. Integracja i utrzymanie mechanizmów kontroli dostępu RBAC w ramach platformy danych. Praca z usługami AWS, w szczególności S3, Aurora i IAM. Współpraca z zespołami odpowiedzialnymi za rozwój platform danych i architektury lakehouse.
#J-18808-Ljbffr
Data Platform Engineer (Apache Druid) [M/F] in Katowice – pracodawca: Arche Solutions
Arche Solutions to doskonały pracodawca, który stawia na innowacyjność i rozwój swoich pracowników. Oferujemy dynamiczne środowisko pracy w sercu branży technologicznej, gdzie możesz rozwijać swoje umiejętności w obszarze bezpieczeństwa oprogramowania oraz współpracować z zespołami inżynieryjnymi na najwyższym poziomie. Nasza kultura pracy opiera się na współpracy, otwartości i ciągłym doskonaleniu, co sprawia, że każdy dzień przynosi nowe wyzwania i możliwości rozwoju.
