W skrócie
- Zadania: Projektuj i utrzymuj wydajne pipeline'y danych w chmurze.
- Firma: Innowacyjna firma technologiczna z dynamiczną kulturą pracy.
- Benefity: Elastyczne godziny pracy, konkurencyjne wynagrodzenie i możliwości rozwoju zawodowego.
- Pozostałe informacje: Możliwości szybkiego rozwoju kariery w ekscytującym środowisku.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na rozwój modeli AI/ML.
- Kwalifikacje: 4+ lata doświadczenia w GCP oraz umiejętności programowania w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Nasz klient poszukuje Senior Data Engineer do projektowania, skalowania i utrzymywania wydajnych procesów wczytywania danych, Change Data Capture (CDC) oraz dostarczania danych. W tej roli będziesz architektem platform danych klasy enterprise do przetwarzania dużych zbiorów metadanych, algorytmicznego wydobywania cech oraz zestawów danych licencjonowanych aktywów. Ten zespół stoi u podstaw przetwarzania danych i wzbogacania cech. Napędzamy spójność i wydajność w rosnącym jeziorze danych, zapewniając ramy i solidne wzorce projektowe systemów, które informują o tworzeniu i dostosowywaniu nowoczesnych modeli językowych.
Będziesz wykorzystywać Google Cloud Platform (GCP) jako główną podstawę obliczeniową w ekosystemie przetwarzania danych multi-cloud, obok hybrydowych hurtowni danych i silników zapytań, w tym Snowflake i ClickHouse, aby zapewnić niskolatencyjne udostępnianie danych, inkrementalne śledzenie delta oraz bezproblemowe punkty integracyjne dla downstream AI/ML.
Główna technologia: GCP, ClickHouse, Snowflake, dbt Core, Apache Airflow, Python, SQL.
Obowiązki:
- Architektura wczytywania i podstawa GCP: Projektowanie, budowanie i optymalizacja skalowalnych procesów wczytywania danych na GCP.
- ETL, CDC i przetwarzanie inkrementalne: Projektowanie robustnych procesów CDC i aktualizacji inkrementalnych.
- Analiza multi-silnikowa i optymalizacja zapytań: Utrzymanie i optymalizacja warstw integracyjnych Snowflake.
- Jakość danych, zarządzanie i skalowalność: Egzekwowanie standardyzacji schematów metadanych i automatycznych warstw walidacji.
Wymagania:
- Google Cloud Platform (GCP): 4+ lata doświadczenia produkcyjnego z technologiami GCP.
- Bazy danych i silniki zapytań: Głęboka znajomość Snowflake i ClickHouse.
- ETL / CDC: Udokumentowane doświadczenie w projektowaniu procesów CDC.
- Transformacja danych i orkiestracja: Biegłość w dbt Core/Cloud i Apache Airflow.
- Umiejętności programowania: Zaawansowane umiejętności w Pythonie i SQL.
Preferowane kwalifikacje:
- Doświadczenie z architekturą Data Vault 2.0.
- Tło w zakresie obsługi metadanych AI/ML.
- Znajomość schematów metadanych mediów.
- Doświadczenie z innymi głównymi dostawcami chmurowymi, takimi jak AWS, Azure lub Oracle Cloud.
Kluczowe wskaźniki sukcesu (pierwsze 90 dni):
- Optymalizacja procesów GCP.
- Integracja ClickHouse i Snowflake.
- Zautomatyzowane procesy CDC.
Oferujemy:
- Elastyczny format pracy - zdalnie, w biurze lub elastycznie.
- Konkurencyjne wynagrodzenie i dobry pakiet świadczeń.
- Spersonalizowany rozwój kariery.
- Narzędzia do rozwoju zawodowego.
- Aktywne społeczności technologiczne z regularnym dzieleniem się wiedzą.
- Zwrot kosztów edukacji.
- Zapadające w pamięć prezenty jubileuszowe.
- Wydarzenia korporacyjne i budowanie zespołu.
- Inne korzyści specyficzne dla lokalizacji.
Senior Data Engineer – pracodawca: N-iX
N-iX to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku technologicznym. Pracując w zespole ekspertów, będziesz miał szansę nie tylko na rozwijanie swoich umiejętności w zakresie AI, ale także na mentoring innych, co sprzyja współpracy i innowacyjności. Nasza kultura pracy opiera się na otwartości, wsparciu oraz dążeniu do wspólnego sukcesu, a lokalizacja w sercu branży IT zapewnia dostęp do najnowszych trendów i technologii.
