Opis projektu
Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP). Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi. Zakres współpracy
analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt integracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danych implementacja mechanizmów CDC (Change Data Capture) projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab automatyzacja testowania, wdrażania i wersjonowania procesów danych definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in. GCS, BigQuery, Cloud Composer i Dataproc monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty w warstwie logiki danych optymalizacja wydajności i kosztów przetwarzania, w tym optymalizacja zapytań, partycjonowania i klastrowania w BigQuery refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych implementacja mechanizmów walidacji i kontroli jakości danych projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy konfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tags zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID współpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalog współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance przygotowywanie i aktualizacja dokumentacji technicznej przeprowadzanie code review oraz wsparcie merytoryczne zespołów data Wymagania obligatoryjne
minimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GCP praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych znajomość BigQuery, w tym modelowania danych, SQL, optymalizacji zapytań, partycjonowania i klastrowania praktyczna znajomość Cloud Composer / Apache Airflow znajomość Dataproc, Dataflow i Datastream znajomość Cloud Run / Cloud Run Functions znajomość Cloud Storage w zakresie przetwarzania danych bardzo dobra znajomość Python i SQL znajomość GitLab, w tym CI/CD i wersjonowania znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych znajomość wzorców integracji danych: batch, streaming i CDC doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne znajomość mechanizmów kontroli dostępu do danych w GCP, w tym IAM, authorized views, row-level i column-level security oraz policy tags znajomość Workforce Identity Federation, w tym zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID znajomość Dataplex Universal Catalog w zakresie klasyfikacji, tagowania i katalogowania danych rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem znajomość zagadnień integracji GCP z platformą Informatica IDMC znajomość architektury multi-cloud governance, obejmującej SAP Datasphere i Azure Databricks wysokie umiejętności komunikacyjne, organizacyjne i analityczne Wymagania dodatkowe
certyfikat Google Cloud, np. Professional Data Engineer
#J-18808-Ljbffr
Data Engineer (K/M/N) in Płock – pracodawca: Randlab
Nasza firma to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w sercu branży IT. Dzięki elastycznemu podejściu do pracy oraz możliwościom rozwoju zawodowego, nasi pracownicy mają szansę na ciągłe doskonalenie swoich umiejętności w obszarze analizy biznesowo-systemowej. Oferujemy atrakcyjne benefity, w tym dostęp do nowoczesnych narzędzi i technologii, co sprawia, że praca w naszym zespole jest nie tylko satysfakcjonująca, ale także inspirująca.
