Senior Data Engineer in Warsaw

Poszukujemy doświadczonego Senior Data Engineer dla naszego Partnera, który działa w branży turystycznej i rejsowej, oferując rejsy rzeczne, morskie oraz oceaniczne, a także wyprawy ekspedycyjne. Firma działa na skalę globalną, zarządzając rozległą flotą i dużymi wolumenami danych wspierających procesy operacyjne, finansowe, raportowe i analityczne.

Oferta:

• Start: ASAP
• Długość zaangażowania: Długoterminowe
• 100% Zdalnie
• B2B (przez Shimi)
• Stawka do 145 PLN/h netto + VAT

Ważne informacje:

• Minimum 5 lat doświadczenia komercyjnego z Databricks.
• Wymagany poziom języka angielskiego: minimum B2+.
• Silne umiejętności analityczne i rozwiązywania problemów.
• Umiejętność pracy samodzielnej z wysokim poziomem odpowiedzialności.
• Proaktywne podejście do identyfikacji ryzyk, przeszkód i możliwości poprawy.
• Silne umiejętności komunikacyjne i zarządzania interesariuszami w zespołach technicznych i biznesowych.
• Doświadczenie w dynamicznych środowiskach z często zmieniającymi się priorytetami.
• Umiejętność podejmowania pragmatycznych decyzji i dostarczania wyników mimo niepełnych wymagań.
• Doświadczenie w pracy w zespołach międzyfunkcyjnych.
• Zrozumienie zarządzania danymi, bezpieczeństwa, zgodności i doskonałości operacyjnej.
• Komfort pracy w środowisku o stosunkowo niskim poziomie formalnych procesów.
• Elastyczność, odporność i dobra organizacja.
• Umiejętność samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań.
• Umiejętność pracy w „kontrolowanym chaosie”, gdzie elastyczność, inicjatywa i samodzielna organizacja są kluczowe.

Wymagania techniczne:

• Apache Spark
• Python
• SQL
• Azure Cloud
• Azure Databricks
• Azure Data Factory
• Azure Data Lake
• Azure Synapse Analytics
• Azure Data Explorer
• Databricks CI/CD
• Azure DevOps
• Power BI
• Doświadczenie w budowaniu i utrzymywaniu procesów ETL/ELT
• Doświadczenie z Delta Live Tables (DLT)
• Doświadczenie z Unity Catalog
• Zrozumienie architektury Lakehouse
• Doświadczenie z automatyzacją infrastruktury, monitorowaniem i logowaniem

Obowiązki:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań danych w ekosystemie Azure Data Platform, w tym Azure Synapse, Databricks i środowisk Data Lakehouse.
• Implementacja i optymalizacja procesów ETL/ELT do pozyskiwania, przekształcania i udostępniania danych z wielu obszarów biznesowych.
• Rozwój i utrzymanie rozwiązań przetwarzania danych przy użyciu Pythona, SQL i Apache Spark.
• Wsparcie inicjatyw migracyjnych i modernizacyjnych, w tym adopcja Unity Catalog, aktualizacje platformy i transformacje platformy danych.
• Budowanie i utrzymywanie przepływów pracy Databricks, Delta Live Tables (DLT), ram opartych na metadanych i procesów orkiestracji.
• Współpraca z architektami, analitykami i interesariuszami biznesowymi w celu przetłumaczenia wymagań biznesowych na rozwiązania techniczne.
• Zapewnienie jakości danych, niezawodności, wydajności i bezpieczeństwa w całej platformie danych.
• Rozwiązywanie incydentów produkcyjnych, przeprowadzanie analizy przyczyn źródłowych i wdrażanie działań korygujących.
• Wkład w implementację CI/CD, automatyzację infrastruktury, monitorowanie i najlepsze praktyki operacyjne.
• Optymalizacja potoków danych, struktur przechowywania i obciążeń przetwarzania w celu poprawy efektywności i redukcji kosztów.
• Udział w przeglądach rozwiązań i architektury, promując standardy inżynieryjne i zasady zarządzania.
• Wsparcie dzielenia się wiedzą, mentoringu i rozwoju technicznego w zespole.
• Ścisła współpraca z architektami danych i zespołami platformowymi w celu zapewnienia zgodności z architekturą danych przedsiębiorstwa, zasadami Lakehouse i wymaganiami zarządzania.
• Wsparcie raportowania, analityki i inicjatyw AI/ML poprzez zapewnienie niezawodnych i skalowalnych fundamentów danych.