Nasze wymagania
Minimum 5 lat doświadczenia w roli Data Engineer lub podobnej Praktyczne doświadczenie w projektowaniu, budowaniu i optymalizacji procesów ETL/ELT Bardzo dobra znajomość SQL, transformacji danych i modelowania danych Praktyczne doświadczenie z BigQuery, w tym projektowanie tabel oraz optymalizacja wydajności i kosztów zapytań Doświadczenie w programowaniu w Pythonie lub Ruście (wystarczy jeden z tych języków) Doświadczenie zarówno z przetwarzaniem batch, jak i streaming Znajomość Apache Kafka lub Google Pub/Sub Doświadczenie w pracy z Oracle lub PostgreSQL Znajomość systemu Linux, diagnozowania błędów i monitorowania procesów przetwarzania danych Mile widziane
Doświadczenie z dodatkowymi usługami Google Cloud, np. Dataflow, Dataproc lub Cloud Storage Znajomość Apache Spark lub Apache Beam Doświadczenie w pracy z rozwiązaniami Data Lake Znajomość Kubernetes lub Docker Doświadczenie z Informatica PowerCenter Znajomość AutomateNOW O projekcie
Projekt realizowany w sektorze bankowym obejmuje rozwój procesów zasilania hurtowni danych, środowiska Big Data oraz rozwiązań analitycznych. Zespół projektuje i rozwija pipeline'y danych, integruje systemy lokalne i chmurowe, modeluje dane oraz tworzy datamarty. Przetwarzane dane wykorzystywane są do analiz, raportowania, segmentacji klientów i przygotowywania spersonalizowanych ofert oraz kampanii. Możliwość pracy z BigQuery, SQL, technologiami ETL/ELT oraz rozwiązaniami batch i streaming; wpływ na architekturę, wydajność i jakość procesów danych. Zakres obowiązków
Projektowanie, budowanie i rozwój pipeline'ów ETL/ELT w trybie batch i streaming Integracja danych z baz danych, plików, API, systemów lokalnych i chmurowych oraz systemów zdarzeniowych Projektowanie logicznych i fizycznych modeli danych oraz tworzenie datamartów Praca z BigQuery: projektowanie tabel, optymalizacja zapytań SQL, wydajności przetwarzania i kosztów Monitorowanie procesów, zapewnianie jakości i niezawodności danych Diagnozowanie błędów, obsługa incydentów produkcyjnych oraz wsparcie wdrożeń Tworzenie dokumentacji technicznej, testowanie rozwiązań i współpraca z zespołami DevSecOps Oferujemy
Współpraca na podstawie kontraktu B2B Praca hybrydowa z obecnością w biurze w Warszawie przez 4 dni w miesiącu Długoterminowy projekt, planowany na ponad 12 miesięcy Możliwość rozwoju rozwiązań Big Data i hurtowni danych w dużej organizacji z sektora finansowego Praca z BigQuery, ETL/ELT oraz technologiami batch i streaming Wsparcie formalne i dokumentacyjne podczas onboardingu
#J-18808-Ljbffr
Data Engineer (ETL / SQL / BigQuery) (K/M) in Warsaw – pracodawca: B2B.NET S.A.
B2B.NET S.A. to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w Gdyni, sprzyjające innowacjom i rozwojowi zawodowemu. Nasza kultura pracy opiera się na współpracy i ciągłym doskonaleniu, co pozwala naszym pracownikom na rozwijanie swoich umiejętności w obszarze technologii Microsoft Identity. Oferujemy atrakcyjne benefity oraz możliwość pracy nad projektami w dużym środowisku bankowym, co czyni nas idealnym miejscem dla specjalistów pragnących realizować swoje ambicje w branży IT.
