Senior Data Engineer in Warsaw

ZS to firma konsultingowa i technologiczna, która koncentruje się na poprawie życia i sposobu, w jaki je żyjemy. Transformujemy pomysły w wpływ, łącząc dane, naukę, technologię i ludzką pomysłowość, aby dostarczać lepsze wyniki dla wszystkich.

Lokalizacja: Warszawa, Mazowieckie, Polska

Co będziesz robić:

• Projektowanie i budowanie solidnych modeli danych zgodnych z wymaganiami biznesowymi.
• Tworzenie skalowalnych architektur danych, które uwzględniają wzrost i ewoluujące potrzeby danych.
• Rozwój i utrzymanie potoków danych, które ułatwiają płynny przepływ danych z różnych źródeł do hurtowni danych lub systemów przechowywania.
• Optymalizacja procesów ETL pod kątem wydajności i niezawodności.
• Implementacja i zarządzanie rozwiązaniami do przechowywania danych, w tym bazami danych relacyjnymi (np. SQL, PostgreSQL) oraz bazami danych nierelacyjnymi (np. MongoDB, Cassandra).
• Ustawianie i utrzymywanie jezior danych dla dużych zbiorów danych.
• Debugowanie problemów z kodem przy użyciu śladów stosu, logów, narzędzi monitorujących i innych zasobów.
• Zapewnienie spójności i dokładności danych poprzez techniki walidacji i oczyszczania.
• Współpraca z zespołami międzyfunkcyjnymi w celu rozwiązywania problemów związanych z danymi.
• Projektowanie i wdrażanie funkcji technicznych zgodnie z najlepszymi praktykami dla używanego stosu technologicznego.
• Pisanie kodu gotowego do produkcji, który jest łatwy do testowania, zrozumiały dla innych programistów i uwzględnia przypadki brzegowe oraz błędy.
• Zapewnienie najwyższej jakości dostarczanych produktów poprzez przestrzeganie wytycznych architektonicznych/projektowych, najlepszych praktyk kodowania, okresowe przeglądy projektów/kodu oraz wykonywanie przeglądów kodu/skryptów seniorów inżynierów w zespole.
• Pisanie testów jednostkowych oraz testów wyższego poziomu, aby obsługiwać oczekiwane przypadki brzegowe i błędy w sposób elegancki, a także ścieżki sukcesu.
• Śledzenie trendów branżowych i najlepszych praktyk w inżynierii danych.
• Zapewnienie wskazówek dotyczących narzędzi, technologii i metodologii inżynierii danych.
• Implementacja złożonych funkcji z ograniczonym wsparciem ze strony lidera inżynierii.
• Badanie i ocena najnowszych technologii poprzez szybkie uczenie się, prowadzenie dowodów koncepcji i tworzenie prototypowych rozwiązań.
• Ścisła współpraca z klientami w celu zrozumienia ich wymagań dotyczących inżynierii danych.
• Projektowanie i wdrażanie najlepszych w swojej klasie rozwiązań inżynierii danych dostosowanych do projektów klientów.
• Podział dużych funkcji na zadania możliwe do oszacowania, prowadzenie szacowania i dostosowywanie się do klientów.
• Mentorowanie młodszych inżynierów danych, wspierając ich rozwój i rozwój umiejętności.
• Współpraca z innymi zespołami technicznymi w celu płynnej integracji rozwiązań danych.
• Uczestnictwo w spotkaniach scrumowych i ceremoniach agile oraz skuteczne komunikowanie postępów w pracy, problemów i zależności.
• Współpraca z zespołami kontaktującymi się z klientami w celu zrozumienia kontekstu rozwiązania oraz udział w zbieraniu i analizie wymagań technicznych.
• Praca z architektami technicznymi w zespole w celu weryfikacji podejścia do projektowania i wdrażania.

Co przyniesiesz:

• Odpowiedni tytuł licencjata lub wyższy w dziedzinie informatyki, nauki o danych lub pokrewnych dziedzinach.
• Minimum 3-letnie doświadczenie w branży związanej z big data – Hive, Spark, Hadoop, systemy kolejkowe jak Apache Kafka/Rabbit MQ/AWS Kinesis.
• Praktyczne doświadczenie w budowaniu wzorców projektowych opartych na metadanych, wielokrotnego użytku dla potoków danych, orkiestracji, wzorców pobierania danych (wsadowe, w czasie rzeczywistym).
• Doświadczenie w projektowaniu i wdrażaniu rozwiązań na platformach obliczeniowych rozproszonych i usługach chmurowych (w tym AWS, Azure, GCP).
• Praktyczne doświadczenie w budowaniu potoków CI/CD oraz znajomość praktyk monitorowania aplikacji.
• Biegłość w językach programowania takich jak Python, Java lub Scala.
• Doświadczenie z technologiami big data (np. Hadoop, Spark, Kafka).
• Znajomość systemów opartych na chmurze (np. AWS, Azure).
• Znajomość narzędzi do integracji danych i ETL (np. Talend, Informatica, Apache NiFi).
• Dobra wiedza na temat pobierania danych, przechowywania danych, orkiestracji, zarządzania danymi w chmurze, najlepiej Azure lub AWS.
• Dobra znajomość Azure Databricks i/lub AWS EMR.
• Dobre zrozumienie koncepcji hurtowni danych i najlepszych praktyk.
• Silne umiejętności komunikacyjne.

Korzyści i benefity:

ZS oferuje kompleksowy pakiet nagród, w tym zdrowie i dobre samopoczucie, planowanie finansowe, urlopy roczne, rozwój osobisty i zawodowy. Nasze programy rozwoju umiejętności, wiele możliwości awansu kariery oraz ścieżki mobilności wewnętrznej i kultura współpracy umożliwiają Ci rozwój jako indywidualny członek zespołu globalnego.

Jesteśmy zobowiązani do zapewnienia naszym pracownikom elastycznego i połączonego sposobu pracy. Elastyczny i połączony ZS pozwala nam łączyć pracę zdalną i obecność na miejscu u klientów/biurach ZS przez większość tygodnia.

Podróże: Podróże są wymagane w ZS dla pracowników kontaktujących się z klientami; potrzeby biznesowe Twojego projektu i klienta są priorytetem. Chociaż niektóre projekty mogą być lokalne, wszyscy pracownicy kontaktujący się z klientami powinni być przygotowani do podróży w razie potrzeby.

Proces aplikacji: Kandydaci muszą posiadać lub być w stanie uzyskać zezwolenie na pracę w swoim docelowym kraju zatrudnienia. Wymagana jest aplikacja online, w tym pełny zestaw transkryptów (oficjalnych lub nieoficjalnych), aby zostać rozpatrzonym.