Szukamy Data Engineera do rozwoju procesów zasilania danych dla hurtowni danych, środowiska Big Data i platformy Google Cloud. O projekcie
Projekt obejmuje rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii. Twój zakres obowiązków
Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych Modelowanie danych i tworzenie datamartów Optymalizacja SQL, wydajności i kosztów Zapewnianie jakości danych, monitoringu, obsługi błędów i testów Diagnozowanie incydentów i wsparcie wdrożeń Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps Wymagania
Doświadczenie w budowie procesów ETL lub ELT Doświadczenie w pisaniu i optymalizacji zapytań SQL Doświadczenie w pracy z BigQuery Doświadczenie w programowaniu w Python lub Rust Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming Doświadczenie w pracy z Kafka lub Pub/Sub Doświadczenie w pracy z bazami Oracle lub PostgreSQL Znajomość systemu Linux Mile widziane
Doświadczenie z Google Cloud Doświadczenie z Dataflow lub Dataproc, Cloud Storage Doświadczenie z Apache Spark Doświadczenie z Apache Beam Doświadczenie z Kubernetes lub Docker Doświadczenie z Informatica PowerCenter Doświadczenie z Data Lake Doświadczenie z AutomateNOW B2B Network łączy specjalistów IT z projektami, które do nich pasują. To Ty wybierasz projekt, my zapewniamy stabilne warunki i wsparcie.
#J-18808-Ljbffr
Data Engineer (k/m/x) in Warsaw – pracodawca: b2bnetwork
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku technologicznym. Pracując jako Cloud IT Architect, będziesz częścią zespołu, który kładzie duży nacisk na innowacje i współpracę, a także korzysta z najnowszych technologii chmurowych w sektorze finansowym. Oferujemy elastyczne godziny pracy, programy rozwoju umiejętności oraz przyjazną atmosferę, co sprawia, że jesteśmy idealnym miejscem dla profesjonalistów szukających satysfakcjonującej kariery.
