Senior Data Engineer in Warsaw

Nasze wymagania:

• Udokumentowane doświadczenie komercyjne jako Data Engineer (Mid: około 3+ lat; Senior: około 5+ lat)
• Praktyczne doświadczenie z Snowflake, w tym modelowanie danych, role i dostęp oraz optymalizacja wydajności
• Silne doświadczenie z dbt (modele, testy, makra, źródła, modele inkrementalne, dokumentacja)
• Praktyczne doświadczenie w budowaniu i utrzymywaniu DAG-ów Airflow
• Zaawansowana znajomość SQL oraz solidne zrozumienie hurtowni danych i modelowania wymiarowego
• Znajomość Pythona do przetwarzania danych i automatyzacji
• Doświadczenie z Flyway lub innymi narzędziami do migracji schematów baz danych
• Doświadczenie w korzystaniu z narzędzi wspomagających rozwój AI w inżynierii danych (np. GitHub Copilot lub podobne) do generowania kodu, testowania, dokumentacji lub analizy kodu
• Doświadczenie z workflow opartym na Gicie, przeglądami PR i CI/CD (np. GitHub Actions)
• Doświadczenie w pracy z wieloma środowiskami i zorganizowanym procesem wydania
• Doświadczenie w modelu dostarczania opartym na zgłoszeniach (np. Jira)
• Bardzo dobra znajomość języka angielskiego, zarówno w mowie, jak i piśmie
• Silne umiejętności komunikacyjne z interesariuszami: pewność siebie w kontaktach z technicznymi odbiorcami oraz umiejętność jasnego wyjaśniania rzeczy biznesowym odbiorcom
• Umiejętność priorytetyzacji i zdolność do szybkiej adaptacji w przypadku zmiany priorytetów
• Proaktywność i wysoki poziom niezależności, połączony z umiejętnością efektywnej pracy w większym zespole
• Komfort pracy w środowisku, gdzie standardy i narzędzia są wciąż w fazie rozwoju (szczególnie ważne na poziomie Senior)
• Silne umiejętności rozwiązywania problemów, analityczne i dokumentacyjne

Mile widziane:

• Certyfikaty Snowflake i/lub dbt będą wyróżniać Twoją aplikację
• Doświadczenie w dziedzinie farmaceutycznej dla ludzi lub zdrowia zwierząt, szczególnie w zakresie komercyjnym, CRM lub danych klientów
• Doświadczenie w migracji lub refaktoryzacji projektów dbt
• Doświadczenie z narzędziami do oceny jakości kodu (np. SonarQube)
• Znajomość narzędzi do zarządzania danymi i metadanymi (np. Collibra)
• Doświadczenie z integracją danych do CRM lub platform danych klientów
• Zrozumienie podstaw ITIL i procesów zarządzania usługami

O projekcie:

Dołączysz do zespołu około 5 inżynierów pracujących dla dużego klienta farmaceutycznego. Zespół jest częścią szerszego ekosystemu wielozespołowego i wielodostawczego liczącego około 20 osób. Praca koncentruje się na industrializacji zarządzanej warstwy danych Snowflake, która obsługuje aplikacje AI oraz konsumentów operacyjnych, takich jak platformy CRM i marketingowe. Obejmuje migrację projektu dbt z przestarzałego systemu do nowej, ustandaryzowanej bazy kodu opartej na nowoczesnym stosie: Snowflake, dbt Core, Airflow, Flyway i GitHub Actions. Części docelowej konfiguracji, w tym orkiestracja i model operacyjny, są wciąż definiowane, więc pomożesz je kształtować, a nie tylko używać.

Zakres obowiązków:

• Budowanie i rozszerzanie modeli dbt w Snowflake, zgodnie z konwencjami modelowania warstwowego
• Migracja i odbudowa modeli dbt z przestarzałej architektury do docelowej, w tym odwrotne inżynierowanie złożonej logiki opartej na makrach
• Rozwój DAG-ów Airflow, w tym bramki jakości danych kontrolujące przepływ pipeline'u
• Ingestowanie plików seed i statycznych dostarczanych przez zespoły biznesowe w różnych środowiskach oraz wyjaśnianie nazewnictwa, częstotliwości odświeżania i odpowiedzialności
• Implementacja i utrzymanie testów jakości danych we wszystkich warstwach modeli
• Rozwiązywanie problemów związanych z niepowodzeniami testów dbt, awariami pipeline'ów i błędami
• Promowanie kodu przez środowiska za pomocą CI/CD, z przeglądem PR na każdym etapie
• Wsparcie optymalizacji kosztów i wydajności Snowflake
• Wsparcie inkrementalnych i opartych na CDC ładunków do platform downstream
• Utrzymywanie dokumentacji i metadanych (opisy kolumn, modele danych, terminy biznesowe)
• Obsługa zgłoszeń serwisowych, zgłoszeń zmian i incydentów w modelu dostarczania opartym na Jira
• Bezpośrednia komunikacja z interesariuszami klienta, głównie technicznymi, ale także biznesowymi
• Ścisła współpraca z właścicielami produktów, architektami i innymi zespołami w celu realizacji priorytetowej pracy
• Własne decyzje projektowe i migracyjne, takie jak mapowanie modeli legacy do warstw docelowych, wzorce orkiestracji i bramek jakości oraz strategia materializacji
• Wiodąca rola w tuningowaniu kosztów i wydajności Snowflake
• Przegląd kodu innych inżynierów i kierowanie standardami technicznymi
• Reprezentowanie zespołu w technicznej współpracy z zespołami klientów i partnerów

Oferujemy:

• Możliwości nauki i rozwoju – po okresie próbnym będziesz mieć dostęp do elastycznego i hojne programu zwrotu kosztów nauki języka angielskiego oraz indywidualnego budżetu rozwojowego do wykorzystania według własnego uznania.
• Klasyczne benefity, takie jak prywatna opieka medyczna, karta sportowa i preferencyjny plan ubezpieczenia na życie.
• Plus nasze słynne wtorki i środy owocowe.
• Hybrydowy model pracy z dużą elastycznością. Zespoły dostawcze pracują głównie zdalnie. Zespoły wsparcia przychodzą do biura przynajmniej raz w tygodniu – jako zespół HR spotykamy się w każdą środę. W inne dni decydujesz, gdzie pracujesz.
• Szereg aktywności pozazawodowych, w tym Dzień Biura (dzień pełen zabawy, kiedy pracownicy z całej Polski zbierają się w biurze), integracje POP UP, różne konkursy od gotowania po fotografię oraz możliwość zgłaszania celów charytatywnych do naszego programu CF4GOOD, który wspiera potrzebujących.
• Miejsce pracy, które ceni ludzi i opiera się na współpracy, a nie rywalizacji. Jeśli jesteś zmęczony toksycznymi środowiskami pracy, w końcu będziesz miał szansę odetchnąć. A jeśli miałeś szczęście z dobrymi pracodawcami do tej pory, dołożymy wszelkich starań, aby kontynuować tę passę.