Streaming Data Engineer in Katowice

Obowiązki

• Przetwarzanie danych strumieniowych: Projektowanie, wdrażanie, testowanie i utrzymywanie wysoce skalowalnych, rzeczywistych transformacji danych bezstanowych i stanowych, zapewniając niską latencję i jakość danych.
• Projektowanie systemów danych: Projektowanie i wdrażanie solidnych, skalowalnych systemów przetwarzania danych, wybieranie odpowiednich technologii przechowywania, projektowanie schematów i planowanie strategii integracji.
• Integracja danych i rozwój ETL: Rozwój i utrzymanie potoków do transformacji danych, integracji i procesów ETL. Zapewnienie jakości i dostępności danych.
• Optymalizacja wydajności: Monitorowanie, dostrajanie i optymalizacja aplikacji danych oraz wydajności baz danych. Rozwiązywanie problemów, które mogą wpływać na prędkości przetwarzania danych lub możliwości analityczne.
• Konsultacje i strategia: Udzielanie fachowych porad i usług doradczych klientom w zakresie strategii danych, wyborów architektonicznych i postępów technologicznych.
• Wsparcie analityczne i inteligencja biznesowa: Pomoc w rozwijaniu platform analitycznych i rozwiązań inteligencji biznesowej, zapewniając, że dane mogą być skutecznie przekształcane w działania.
• Interakcja z klientem: Ścisła współpraca z klientami w celu zrozumienia ich potrzeb biznesowych i wymagań technicznych. Tłumaczenie tych wymagań na skuteczne rozwiązania inżynieryjne danych.

Korzyści

• Opieka medyczna
• Platforma benefitów
• Możliwości szkoleniowe
• Platforma kursów językowych
• Wydarzenia firmowe
• Platforma Motivizer: wybierz i zarządzaj wszystkimi swoimi benefitami w jednym miejscu. Otrzymujesz budżet (550 PLN miesięcznie). Możesz wybrać pakiet opieki medycznej, bony na posiłki, karty sportowe (mamy Multisport i na preferencyjnych warunkach, mamy karty członkowskie do jednego z najpopularniejszych siłowni), bilety do kina, bony zakupowe, zniżki i wiele więcej.
• Kursy językowe – będziesz mieć dostęp do platformy nauki wielu języków, umożliwiającej praktykę umiejętności językowych i naukę nowych.
• Regularne i systematyczne możliwości dalszego kształcenia – zarówno wewnętrznie, jak i od zewnętrznych dostawców. Wspieramy Twoje ciągłe uczenie się i rozwój.
• Współpraca w ramach wewnętrznej społeczności to nasza codzienność. Mamy wydarzenia networkingowe, wyzwania kodowania i imprezy firmowe na różne okazje.

Wymagania

• Wykształcenie: Tytuł licencjata lub magistra w dziedzinie informatyki, inżynierii, IT lub pokrewnej.
• Technologie strumieniowe: Znajomość ekosystemu Kafka (klastry Kafka, konektory i klienci, Kafka Streams) oraz innych platform strumieniowych (np. Flink).
• Język programowania: Silne umiejętności programowania w językach takich jak Python, Java lub Kotlin.
• Chmura: Doświadczenie z publicznymi dostawcami chmury AWS/Azure.
• Technologie baz danych: Znajomość baz danych SQL i NoSQL.
• Ekspertyza w technologiach Big Data: Znajomość frameworków i narzędzi big data, takich jak Spark, formatów takich jak Apache Iceberg.
• Konteneryzacja: Doświadczenie w Dockerze, znajomość Kubernetes jest mile widziana.
• Modelowanie danych i hurtownie danych: Znajomość technik modelowania danych i hurtowni danych.
• Silne umiejętności analityczne: Umiejętność analizy złożonych struktur danych i wyciągania wniosków w celu zapewnienia strategicznych wskazówek.
• Doskonale umiejętności komunikacyjne: Silne umiejętności interpersonalne i komunikacyjne, aby skutecznie współpracować z członkami zespołu i klientami.
• Bardzo dobra znajomość języka angielskiego i polskiego.
• Rozwiązywanie problemów: Silne umiejętności rozwiązywania problemów i zdolność do proponowania kreatywnych, efektywnych rozwiązań dla złożonych problemów.
• Mile widziane doświadczenie z Databricks, DBT.
• Dostępność do pracy w trybie hybrydowym z co najmniej 2 wizytami w biurze miesięcznie.

O Data Reply

Jako część grupy Reply, Data Reply oferuje szeroki zakres usług wspierających klientów w stawaniu się opartymi na danych. Działamy w różnych branżach i obszarach biznesowych oraz intensywnie współpracujemy z naszymi klientami, aby mogli osiągać znaczące wyniki dzięki efektywnemu wykorzystaniu danych. Data Reply oferuje wieloletnie doświadczenie w projektach transformacyjnych, aby osiągnąć „firmy oparte na danych”. Skupiamy się na rozwoju platform danych, rozwiązań uczenia maszynowego i aplikacji strumieniowych – zautomatyzowanych, efektywnych i skalowalnych – bez kompromisów w zakresie bezpieczeństwa IT.