Databricks Data Developer in Katowice

Poszukujemy Databricks Data Developer, który chce budować i optymalizować skalowalne potoki danych oraz architektury danych w międzynarodowym ekosystemie handlu cyfrowego. Będziesz pracować na centralnej platformie Databricks wspierającej zarówno operacje rynkowe, jak i własny biznes detaliczny OBI, zapewniając płynne integrowanie danych w obu obszarach.

Będziesz współpracować z zespołami Digital Business, Analytics, Product Management i IT, przyczyniając się do fundamentów inżynierii danych międzynarodowej platformy e-commerce działającej w 8 krajach.

• Projektowanie, rozwijanie i utrzymywanie skalowalnych, produkcyjnych potoków ETL/ELT oraz modeli danych przetwarzających dane o wysokiej objętości z e-commerce, rynku, detalicznych oraz danych śledzących.
• Budowanie i optymalizacja rozwiązań inżynierii danych na Databricks i Apache Spark, używając Pythona, PySpark, Scali i SQL w odpowiednich przypadkach.
• Implementacja i utrzymanie potoków Delta Lake oraz nowoczesnych możliwości Databricks, w tym Unity Catalog, Databricks Workflows i Structured Streaming.
• Rozwój solidnych modeli danych integrujących dane rynkowe i detaliczne, zapewniając spójność, jakość i dostępność danych w różnych obszarach biznesowych.
• Automatyzacja złożonych procesów przygotowania i transformacji danych, aby umożliwić niezawodne dostarczanie danych i analitykę samoobsługową.
• Optymalizacja, monitorowanie i rozwiązywanie problemów z rozproszonymi zadaniami danych, zapewniając wydajność, niezawodność i skalowalność potoków.
• Integracja potoków danych z rozwiązaniami analitycznymi i BI, w tym Looker, współpracując z interesariuszami biznesowymi i technicznymi w celu przekształcenia wymagań w skuteczne rozwiązania danych.

Wymagania:

• Ukończone studia wyższe w dziedzinie Informatyki, Inżynierii Oprogramowania, Informatyki Biznesowej, Inżynierii Danych lub pokrewnej dziedziny ilościowej.
• Kilkuletnie doświadczenie zawodowe w inżynierii danych lub rozwoju platform danych, najlepiej w środowiskach e-commerce lub handlu cyfrowego.
• Silna praktyczna wiedza na temat Databricks, Apache Spark i Delta Lake, w tym budowanie i utrzymywanie skalowalnych potoków danych wsadowych i strumieniowych.
• Doskonała znajomość Pythona i SQL, z doświadczeniem w transformacji danych, modelowaniu danych i przetwarzaniu dużych zbiorów danych.
• Praktyczne doświadczenie z narzędziami do orkiestracji przepływu pracy, takimi jak Databricks Workflows lub Apache Airflow, a także praktykami CI/CD dla inżynierii danych.
• Zrozumienie jakości danych, zarządzania, monitorowania i optymalizacji wydajności w rozproszonych platformach danych.
• Silne umiejętności komunikacyjne w języku angielskim i polskim, gotowość do pracy w modelu hybrydowym w Katowicach.

Preferowane:

• Doświadczenie z Unity Catalog i Structured Streaming w Databricks.
• Znajomość integrowania potoków danych w ekosystemach BI i analityki, szczególnie Looker.
• Doświadczenie z integracjami AI/ML w Databricks.
• Wiedza na temat wyzwań inżynierii danych w międzynarodowych środowiskach rynkowych i detalicznych.

O OBI Smart Technologies:

Jesteśmy wspólnym przedsięwzięciem między OBI a Reply Group, odpowiedzialnym za współprojektowanie, budowanie i obsługę krytycznych platform cyfrowych dla handlu, obsługi klienta i detalicznego omnichannel.

Nasza misja: "Łączymy przywództwo technologiczne z głęboką wizją detaliczną, aby wdrażać ustandaryzowane procesy i skalowalne produkty cyfrowe, które wspierają efektywne wsparcie dla jednego z największych detalistów DIY w Europie."