Data engineer platformy CDP in Warsaw

Opis: Dla naszego klienta z sektora paliw i energii poszukujemy Inżyniera Danych, który dołączy do zespołu odpowiedzialnego za rozwój i utrzymanie platformy CDP opartej na architekturze Data Lakehouse w Google Cloud Platform.

Zakres obowiązków:

• Wsparcie zespołu projektowego i utrzymaniowego w budowie i rozwoju platformy CDP przy użyciu architektury Data Lakehouse (GCP)
• Projektowanie, wdrażanie i optymalizacja procesów ETL/ELT (wsadowych i strumieniowych)
• Tworzenie i zarządzanie transformacjami danych w warstwach Bronze, Silver i Gold (architektura medalionowa)
• Orkiestracja przepływów danych i monitorowanie zadań
• Praca z mechanizmami CDC i replikacja danych z źródeł transakcyjnych do BigQuery
• Zapewnienie jakości danych, katalogowanie metadanych oraz przestrzeganie zasad zarządzania danymi, w tym RODO
• Ścisła współpraca z zespołami IT i technicznymi kierownikami projektów w międzynarodowym środowisku

Wymagania:

• Doświadczenie w co najmniej kilku projektach wdrożeniowych rozwiązań chmurowych na stanowisku Inżyniera Danych
• Co najmniej 6 miesięcy praktycznego doświadczenia w pracy z technologiami GCP (Google Cloud Platform)
• Bardzo dobra znajomość kluczowych usług GCP Data & Analytics: BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam) i Cloud Composer (Apache Airflow)
• Znajomość usług wspierających integrację i zarządzanie danymi: Datastream (CDC/replikacja), Dataplex (metadane, jakość danych, linia danych), Pub/Sub (strumieniowanie) i Dataform (transformacje SQL w BigQuery)
• Znajomość SQL (dialekt BigQuery) i Pythona, w tym Pandas, do transformacji i analizy danych
• Doświadczenie w implementacji i utrzymaniu architektury medalionowej (Bronze/Silver/Gold), procesów ETL/ELT oraz zasad zarządzania danymi, w tym deduplikacji danych i wersjonowania
• Znajomość Gita i procesów CI/CD (np. Cloud Build), a także konfiguracji monitorowania/logowania w chmurze
• Bardzo dobre umiejętności komunikacyjne i organizacyjne oraz znajomość języka angielskiego wystarczająca do pracy w międzynarodowym środowisku

Warunki:

• Praca w renomowanej organizacji (ITwiz BEST100) działającej zgodnie z międzynarodowymi standardami jakości i bezpieczeństwa (ISO 9001, ISO 27001)
• Niekorporacyjna atmosfera i płaska struktura organizacyjna
• Możliwość ciągłego rozwoju poprzez: pracę z różnorodnymi technologiami w projektach dla renomowanych klientów, współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się swoją wiedzą, finansowanie szkoleń i certyfikacji
• Program poleceń pracowniczych
• Kultura organizacyjna oparta na następujących wartościach: działamy w dobrej wierze, dzielimy się wiedzą, bierzemy odpowiedzialność, nieustannie się rozwijamy, ludzie są naszym priorytetem, działamy ze zrozumieniem celu i sensu naszej pracy, komunikujemy się szczerze i profesjonalnie
• Udział w inicjatywach charytatywnych, w tym praca z Fundacją „Caring Wings” Joanny Radziwiłł oraz udział w kampanii świątecznej „Gwiazdorzymy”
• Różnorodne i inkluzywne środowisko pracy - w naszej firmie współpracują przedstawiciele czterech pokoleń
• Równe możliwości rozwoju - kobiety zajmują 50% stanowisk kierowniczych i przywódczych