RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu. Senior Data Engineer (ETL / GCP)
Szczegóły współpracy
Model współpracy: Hybryda - Warszawa Forma współpracy: B2B Stawka: 160 PLN/h netto Okres współpracy: ponad 12 miesięcy O projekcie
Poszukujemy Senior Data Engineera do zespołu, który rozwija procesy zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych. Budujemy rozwiązania, które przetwarzają duże wolumeny danych w trybie batch i w czasie zbliżonym do rzeczywistego. Z naszych danych powstają datamarty, analizy, raporty, segmentacje klientów oraz spersonalizowane oferty i kampanie. Jeśli chcesz budować niezawodne pipeline’y danych w środowisku hybrydowym i chmurowym, zapraszamy do kontaktu! Twoje zadania:
Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming. Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną. Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych. Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych. Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych. Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście. Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub. Dbanie o jakość, kompletność, spójność i terminowość danych. Optymalizacja wydajności procesów i kosztów przetwarzania w GCP. Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania. Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania. Testy, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań. Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps. Wymagania:
Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych. Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych. Praktyczna znajomość BigQuery: projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów. Doświadczenie w programowaniu w Pythonie i/lub Ruście. Znajomość przetwarzania danych w trybie batch i streaming. Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub). Doświadczenie w projektowaniu logicznych i fizycznych modeli danych. Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL. Znajomość Linuxa w stopniu pozwalającym na samodzielną pracę i diagnozowanie problemów. Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne. Mile widziane:
Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage. Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow. Doświadczenie z Kubernetes, Dockerem i CI/CD. Znajomość Informatica PowerCenter lub innych narzędzi ETL. Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym. Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation. Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability. Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych. Znajomość AutomateNOW. Czego szukamy poza technologią?
Samodzielności, odpowiedzialności i konsekwencji w realizacji zadań. Dbałości o jakość, niezawodność i utrzymywalność rozwiązań. Dobrej organizacji pracy i umiejętności szybkiego przyswajania wiedzy. Umiejętności efektywnej współpracy w zespole. Doświadczenia we współpracy z klientem biznesowym. Dobrych umiejętności komunikacyjnych i analitycznego podejścia do problemów.
#J-18808-Ljbffr
Senior Data Engineer (ETL / GCP) in Warsaw – pracodawca: RITS
Nasz klient to jedna z wiodących firm ubezpieczeniowych w Polsce, która stawia na nowoczesne technologie i rozwój swoich pracowników. Oferuje elastyczny model pracy, gdzie tylko jeden dzień w miesiącu wymagana jest obecność w biurze w Łodzi, co sprzyja równowadze między życiem zawodowym a prywatnym. Pracownicy mają możliwość uczestniczenia w innowacyjnych projektach oraz korzystania z zaawansowanych narzędzi, co sprzyja ich rozwojowi zawodowemu i osobistemu.
