Data Engineer in Warsaw

Warsaw Pełny etat 123750 - 151250 zł / rok (szac.) Hybrydowo

Aplikuj teraz

W skrócie

Zadania: Projektuj i rozwijaj infrastrukturę danych na Databricks oraz optymalizuj procesy ETL/ELT.
Firma: Innowacyjna firma technologiczna z otwartą kulturą współpracy.
Benefity: Konkurencyjne wynagrodzenie, elastyczne warunki pracy i długoterminowa współpraca.
Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery.
Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na rozwój zaawansowanej analityki.
Kwalifikacje: 3+ lata doświadczenia w inżynierii danych oraz umiejętności programistyczne w Pythonie lub Javie.

Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.

Opis: Szukamy inżyniera danych, który zaprojektuje, rozwinie i zoptymalizuje naszą infrastrukturę danych na Databricks. Będziesz architektem skalowalnych pipeline'ów używając BigQuery, Google Cloud Storage, Apache Airflow, dbt, Dataflow i Pub/Sub, zapewniając wysoką dostępność i wydajność w naszych procesach ETL/ELT. Wykorzystasz Great Expectations do egzekwowania standardów jakości danych.

Zadania:

Zdefiniowanie i wdrożenie ogólnej architektury danych na GCP, w tym hurtowni danych w BigQuery/Databricks, wzorców jeziora danych w Google Cloud Storage oraz rozwiązań Data Mart (Data Mach).
Integracja Terraform dla Infrastructure as Code w celu efektywnego zarządzania zasobami chmurowymi.
Ustanowienie zarówno wsadowych, jak i rzeczywistych frameworków przetwarzania danych, aby zapewnić niezawodność, skalowalność i efektywność kosztową.
Projektowanie, budowanie i optymalizacja pipeline'ów ETL/ELT przy użyciu Apache Airflow do orkiestracji workflow.
Implementacja transformacji dbt (Data Build Tool) w celu utrzymania wersjonowanych modeli danych w BigQuery, zapewniając spójność i niezawodność w całym pipeline'ie danych.
Użycie Google Dataflow (opartego na Apache Beam) i Pub/Sub do przetwarzania i pobierania dużych zbiorów danych w czasie rzeczywistym/wsadowym.
Automatyzacja harmonogramowania zadań i transformacji danych w celu dostarczenia terminowych informacji dla analityki, uczenia maszynowego i raportowania.
Implementacja zdarzeniowych lub asynchronicznych workflow danych między mikroserwisami.
Wykorzystanie Dockera i Kubernetes (K8s) do konteneryzacji i orkiestracji, umożliwiając elastyczne i efektywne workflow danych oparte na mikroserwisach.
Implementacja CI/CD dla uproszczonego rozwoju, testowania i wdrażania komponentów inżynierii danych.
Egzekwowanie standardów jakości danych przy użyciu Great Expectations lub podobnych frameworków, definiując i walidując oczekiwania dla krytycznych zbiorów danych.
Zdefiniowanie i przestrzeganie zarządzania metadanymi, śladu danych i standardów audytu, aby zapewnić wiarygodne zbiory danych.
Implementacja najlepszych praktyk bezpieczeństwa, w tym szyfrowania w spoczynku i w tranzycie, zarządzania tożsamością i dostępem (IAM) oraz zgodności z GDPR lub CCPA, gdzie to możliwe.
Współpraca z zespołami Data Science, Analityki i Produktu, aby zapewnić, że infrastruktura danych wspiera zaawansowaną analitykę, w tym inicjatywy uczenia maszynowego.
Utrzymywanie środowisk Data Mart (Data Mach), które odpowiadają konkretnym domenom biznesowym, optymalizując dostęp i wydajność dla kluczowych interesariuszy.

Wymagania:

3+ lata doświadczenia zawodowego w inżynierii danych, w tym co najmniej 1 rok w danych mobilnych.
Udokumentowane osiągnięcia w budowaniu i utrzymywaniu środowisk BigQuery oraz jezior danych opartych na Google Cloud Storage.
Głęboka wiedza na temat Apache Airflow do harmonogramowania/orkiestracji i projektowania ETL/ELT.
Doświadczenie w implementacji dbt dla transformacji danych, RabbitMQ dla workflow opartych na zdarzeniach oraz Pub/Sub + Dataflow dla pipeline'ów danych w czasie rzeczywistym/wsadowych.
Znajomość projektowania i wdrażania rozwiązań Data Mart (Data Mach) oraz używania Terraform dla IaC.
Silne umiejętności programistyczne w Pythonie, Javie lub Scali, a także skryptowanie do automatyzacji.
Doświadczenie z Dockerem i Kubernetes (K8s) do konteneryzacji usług związanych z danymi.
Praktyczna znajomość CI/CD i narzędzi DevOps (np. Terraform, Ansible, Jenkins, GitLab CI) do zarządzania infrastrukturą i wdrożeniami.
Biegłość w Great Expectations (lub podobnych) w celu definiowania i egzekwowania standardów jakości danych.
Ekspertyza w projektowaniu systemów dla śladu danych, zarządzania metadanymi i zgodności (GDPR, CCPA).
Silne zrozumienie systemów OLTP (Online Transaction Processing) i OLAP (Online Analytical Processing).
Doskonałe umiejętności komunikacyjne zarówno dla odbiorców technicznych, jak i nietechnicznych.
Wysoki poziom organizacji, samodyscypliny i zdolności do rozwiązywania problemów.

Warunki:

Konkurencyjne wynagrodzenie w zależności od doświadczenia i ekspertyzy.
Długoterminowa współpraca na podstawie umowy.
Współpraca w otwartym i współpracującym środowisku.
Elastyczne warunki współpracy.