Nasze wymagania:
Doświadczenie w budowie procesów ETL lub ELT Doświadczenie w pisaniu i optymalizacji zapytań SQL Doświadczenie w pracy z BigQuery Doświadczenie w programowaniu w Python lub Rust Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming Doświadczenie w pracy z Kafka lub Pub/Sub Doświadczenie w pracy z bazami Oracle lub PostgreSQL Znajomość systemu Linux Mile widziane:
Doświadczenie z Google Cloud Doświadczenie z Dataflow lub Dataproc, Cloud Storage Doświadczenie z Apache Spark Doświadczenie z Apache Beam Doświadczenie z Kubernetes lub Docker Doświadczenie z Informatica PowerCenter Doświadczenie z Data Lake Doświadczenie z AutomateNOW O projekcie:
Projekt obejmuje rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii. Tryb: hybrydowo, 1 dzień w tygodniu w biurze Długość: powyżej 12 miesięcy Stawka: do 135 zł/h netto (B2B) Zakres obowiązków:
Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych Modelowanie danych i tworzenie datamartów Optymalizacja SQL, wydajności i kosztów Zapewnianie jakości danych, monitoringu, obsługi błędów i testów Diagnozowanie incydentów i wsparcie wdrożeń Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps Oferujemy:
Kontrakt B2B Praca hybrydowa: 1 dzień w tygodniu w biurze (Warszawa) Czas trwania: powyżej 12 miesięcy Prywatna opieka medyczna Dofinansowanie zajęć sportowych Wsparcie formalne od dokumentów po onboarding
#J-18808-Ljbffr
Data Engineer (k/m/x) in Warsaw – pracodawca: B2B.NET S.A.
B2B.NET S.A. to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w Gdyni, sprzyjające innowacjom i rozwojowi zawodowemu. Nasza kultura pracy opiera się na współpracy i ciągłym doskonaleniu, co pozwala naszym pracownikom na rozwijanie swoich umiejętności w obszarze technologii Microsoft Identity. Oferujemy atrakcyjne benefity oraz możliwość pracy nad projektami w dużym środowisku bankowym, co czyni nas idealnym miejscem dla specjalistów pragnących realizować swoje ambicje w branży IT.
