W skrócie
- Zadania: Projektuj i rozwijaj rozwiązania Data Engineering na Google Cloud Platform.
- Firma: Dynamiczna firma technologiczna z innowacyjnym podejściem do danych.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwość rozwoju zawodowego.
- Pozostałe informacje: Możliwość pracy zdalnej oraz rozwój w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na przyszłość przetwarzania danych.
- Kwalifikacje: Minimum 2 lata doświadczenia w Data Engineering oraz znajomość Google Cloud Platform.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Poszukujemy Data Engineer’a na poziomie Middle do współpracy przy realizacji projektu z obszaru Data Engineering i migracji danych do Google Cloud Platform. Szukamy osoby, która dobrze czuje się w pracy z dużymi zbiorami danych, zna BigQuery i SQL, a także ma praktyczne doświadczenie w budowaniu i rozwijaniu procesów ETL/ELT oraz migracji rozwiązań z środowisk on-premise do chmury.
Forma współpracy: Model współpracy: B2B Stawka: 147,20 zł netto/h Lokalizacja: Warszawa, z okresowymi wizytami w siedzibie klienta, średnio raz w tygodniu, zależnie od bieżących potrzeb projektowych.
W ramach współpracy będziesz odpowiadać m.in. za:
- projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
- migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle / środowisk on-premise do GCP;
- projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości, obsługi błędów i ponawiania operacji;
- projektowanie struktur i modeli danych w BigQuery, z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów;
- analizę danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i GCP;
- tworzenie, analizę i optymalizację zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł przy dużych wolumenach danych;
- analizę istniejących procesów Informatica PowerCenter oraz ich migrację do rozwiązań docelowych w GCP;
- implementację logiki transformacji, walidacji i integracji danych w SQL i Python;
- wykonywanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
- przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
- przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej;
- diagnozowanie i usuwanie incydentów związanych z przetwarzaniem oraz jakością danych;
- tworzenie i aktualizację dokumentacji technicznej;
- pracę z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps.
Czego oczekujemy?
- minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych;
- doświadczenia odpowiadającego poziomowi Middle Data Engineer;
- praktycznej znajomości Google Cloud Platform, w szczególności: BigQuery, Cloud Storage, Pub/Sub;
- praktycznego doświadczenia z Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych;
- doświadczenia z Informatica PowerCenter, pozwalającego na samodzielną analizę i modyfikację procesów ETL;
- znajomości SQL na poziomie pozwalającym na analizę, optymalizację i rozwój procesów przetwarzania danych;
- doświadczenia w pracy z procesami ETL/ELT, migracją danych i integracją systemów;
- znajomości Python w zakresie potrzebnym do implementacji logiki przetwarzania i transformacji danych;
- doświadczenia z testowaniem, dokumentowaniem i wdrażaniem rozwiązań danych.
Mid Data Engineer in Warsaw – pracodawca: RITS
Nasz klient to jedna z wiodących firm ubezpieczeniowych w Polsce, która stawia na nowoczesne technologie i rozwój swoich pracowników. Oferuje elastyczny model pracy, gdzie tylko jeden dzień w miesiącu wymagana jest obecność w biurze w Łodzi, co sprzyja równowadze między życiem zawodowym a prywatnym. Pracownicy mają możliwość uczestniczenia w innowacyjnych projektach oraz korzystania z zaawansowanych narzędzi, co sprzyja ich rozwojowi zawodowemu i osobistemu.
