Senior Data Engineer – Remote in Warsaw

Role: Senior Data Engineer

Primary Responsibilities:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych przy użyciu Pythona, PySpark i innych nowoczesnych języków programowania w celu wsparcia zarówno wsadowych, jak i strumieniowych obciążeń.
• Budowanie i optymalizacja frameworków przetwarzania danych na platformach chmurowych, takich jak Databricks lub Snowflake, zapewniając wydajność, niezawodność i efektywność kosztową.
• Projektowanie i wdrażanie solidnych modeli danych, w tym schematów transakcyjnych (OLTP) i wymiarowych (OLAP), aby wspierać analitykę, raportowanie i integrację aplikacji.
• Rozwój wysokiej jakości kodu SQL, w tym złożonych zapytań, procedur składowanych i widoków, z naciskiem na optymalizację wydajności i efektywne wzorce dostępu do danych.
• Tworzenie i zarządzanie orkiestracją workflow przy użyciu Apache Airflow lub podobnych narzędzi, zapewniając niezawodne harmonogramowanie, zarządzanie zależnościami i monitorowanie.
• Wdrażanie i egzekwowanie standardów zarządzania danymi i metadanymi za pomocą narzędzi takich jak Microsoft Purview, w tym śladów danych, klasyfikacji, katalogowania i polityk bezpieczeństwa.
• Budowanie zautomatyzowanych frameworków jakości danych i walidacji, aby zapewnić dokładność, kompletność i niezawodność zbiorów danych produkcyjnych.
• Współpraca z zespołami międzyfunkcyjnymi, w tym architektami danych, analitykami, naukowcami i interesariuszami biznesowymi, aby zrozumieć wymagania i dostarczać skalowalne, dobrze zaprojektowane rozwiązania danych.
• Prowadzenie sesji projektowania technicznego i przeglądów kodu, promując najlepsze praktyki inżynieryjne, ponowne wykorzystanie i łatwość konserwacji.
• Wsparcie infrastruktury chmurowej i praktyk DevOps, w tym CI/CD, kontroli wersji, automatyzacji testów i zarządzania środowiskiem.
• Monitorowanie i rozwiązywanie problemów z produkcyjnymi potokami danych, proaktywne adresowanie problemów, wąskich gardeł wydajności i awarii systemu.
• Wkład w ewolucję platformy danych przedsiębiorstwa, rekomendowanie narzędzi, frameworków i architektur w celu poprawy skalowalności i efektywności.

Wymagane kwalifikacje:

• 7+ lat doświadczenia w inżynierii danych, inżynierii oprogramowania lub podobnych dziedzinach.
• Praktyczne doświadczenie z Databricks lub Snowflake.
• Doświadczenie z narzędziami orkiestracyjnymi, takimi jak Apache Airflow.
• Doświadczenie w pracy z ekosystemami chmurowymi (preferowany Azure; akceptowalne AWS/GCP).
• Zaawansowane umiejętności SQL i doświadczenie z modelowaniem danych OLTP i OLAP.
• Solidne zrozumienie nowoczesnych wzorców projektowania hurtowni danych, jezior danych oraz ELT/ETL.
• Znajomość narzędzi do zarządzania danymi, zwłaszcza Microsoft Purview.
• Solidna wiedza programistyczna w Pythonie, PySpark lub podobnych językach.

Preferowane kwalifikacje:

• Doświadczenie w branży opieki zdrowotnej, w tym roszczenia, kliniczne, FHIR, HL7 lub dane dostawców.
• Doświadczenie z konteneryzacją (Docker, Kubernetes) dla obciążeń danych.
• Doświadczenie w wspieraniu przepływów pracy uczenia maszynowego lub analitycznych potoków danych naukowych.
• Znajomość koncepcji obliczeń rozproszonych i optymalizacji wydajności.

To jest zdalna pozycja.