W skrócie
- Zadania: Projektowanie i rozwijanie potoków ETL/ELT na Google Cloud Platform.
- Firma: Xebia - globalny lider w transformacji cyfrowej i AI.
- Benefity: Atrakcyjne wynagrodzenie, możliwość pracy zdalnej i rozwój zawodowy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami szybkiego rozwoju kariery.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na innowacyjne rozwiązania.
- Kwalifikacje: Doświadczenie w budowaniu platform danych na GCP oraz umiejętności SQL i Python.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Xebia jest globalnym partnerem w zakresie transformacji cyfrowej i inżynierii, specjalizującym się w sztucznej inteligencji, danych i chmurze, automatyzacji inteligentnej oraz produktach cyfrowych. W regionie CEE zespół liczy prawie 1,000 ekspertów, którzy dostarczają nowoczesne aplikacje, platformy danych i rozwiązania AI dla klientów takich jak Millennium, ING, Play, Edenred, Arabian Drilling, FedEx, Leroy Merlin, Truecaller, Volotea, Schmitz Cargobull i wielu innych.
Twoje zadania:
- Projektowanie, rozwijanie i optymalizacja ETL/ELT na Google Cloud Platform.
- Optymalizacja obciążeń Spark działających na Dataproc i Dataproc Serverless.
- Implementacja strategii routingu obciążenia i mechanizmów optymalizacji kosztów.
- Projektowanie i utrzymywanie procesów pobierania danych dla warstw Bronze, Silver i Gold.
- Organizacja i zarządzanie strukturami surowych danych w Google Cloud Storage.
- Projektowanie i implementacja orkiestracji zdarzeń przy użyciu Pub/Sub i Apache Airflow.
- Rozwój, utrzymanie i optymalizacja DAG-ów Airflow oraz frameworków orkiestracyjnych.
- Implementacja możliwości przetwarzania danych i backfill.
- Konsolidacja powiązanych przepływów przetwarzania w wielokrotnego użytku wzorce orkiestracyjne.
- Rozszerzanie i poprawa generatorów opartych na metadanych oraz narzędzi platformowych.
- Wsparcie procesów generowania, regeneracji i dystrybucji artefaktów.
- Poprawa obserwowalności, niezawodności i wsparcia operacyjnego dla potoków danych.
- Współpraca z zespołami platformowymi, analitycznymi i DevOps w zakresie decyzji architektonicznych i implementacyjnych.
Twój profil:
- Silne doświadczenie komercyjne w budowaniu i obsłudze platform danych na Google Cloud Platform.
- Praktyczne doświadczenie z Dataproc i Apache Spark.
- Doświadczenie w projektowaniu i rozwijaniu ETL/ELT.
- Doświadczenie z BigQuery i Google Cloud Storage.
- Silne umiejętności SQL i Python.
- Doświadczenie w optymalizacji wydajności przetwarzania danych i kosztów chmurowych.
- Doświadczenie w projektowaniu frameworków pobierania danych i wielokrotnego użytku komponentów przetwarzania danych.
- Zrozumienie wzorców architektury platform danych, w tym warstw Bronze/Silver/Gold.
- Doświadczenie w rozwiązywaniu problemów i wsparciu produkcyjnych potoków danych.
- Silne praktyczne doświadczenie z Apache Airflow.
- Doświadczenie w projektowaniu, implementacji i utrzymywaniu złożonych DAG-ów.
Wymagana jest praca z regionu Unii Europejskiej oraz pozwolenie na pracę.
GCP Data Engineer – Poland in Katowice – pracodawca: Xebia Group
Xebia Group to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w Polsce, sprzyjające innowacjom i rozwojowi zawodowemu. Pracownicy mają dostęp do zaawansowanych technologii oraz możliwości współpracy z ekspertami w dziedzinie danych, co sprzyja zdobywaniu cennych umiejętności. Dodatkowo, firma promuje kulturę otwartości i współpracy, co czyni ją idealnym miejscem dla osób poszukujących satysfakcjonującej kariery w obszarze inżynierii danych.
