Model współpracy: zespół spotyka się 1-2 razy w miesiącu w Warszawskim biurze
Długoterminowy projekt z sektora bankowości z obszaru inżynierii danych, Big Data i Google Cloud. Dołączysz do zespołu rozwijającego procesy zasilania hurtowni danych, platform Big Data, środowiska GCP oraz systemów kampanijnych.
W ramach projektu tworzysz i rozwijasz procesy ETL/ELT oraz pipeline'y danych działające w trybie batch i streaming. Twoje rozwiązania będą zasilać m.in. BigQuery, hurtownie danych, Data Lake i platformy kampanijne. Dane są wykorzystywane do analiz, raportowania, budowy datamartów, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii.
Zadania:
Tworzenie i rozwój procesów ETL/ELT oraz pipeline'ów danych w Pythonie.
Integracja danych z baz, plików, API oraz systemów chmurowych.
Budowa procesów batch i streaming z wykorzystaniem Kafka lub Pub/Sub.
Praca z BigQuery, hurtowniami danych, Data Lake i datamartami.
Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania.
Zapewnianie jakości, monitoringu i niezawodności procesów.
Diagnozowanie problemów, wsparcie wdrożeń i tworzenie dokumentacji technicznej.
Poziom wiedzy i kwalifikacje:
doświadczenie na poziomie Senior w programowaniu w Pythonie,
doświadczenie w budowie procesów ETL/ELT i pipeline'ów danych,
dobra znajomość SQL oraz pracy z dużymi wolumenami danych,
praktyczna znajomość BigQuery, w tym partycjonowania, klastrowania i optymalizacji zapytań,
znajomość przetwarzania batch i streaming,
doświadczenie z Kafka lub Pub/Sub,
znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL,
znajomość systemu Linux,
umiejętność przekładania wymagań biznesowych na rozwiązania techniczne,
dbałość o jakość, wydajność i utrzymywalność kodu.
Mile widziana jest znajomość usług GCP, takich jak Dataflow, Dataproc, Cloud Storage i Pub/Sub, a także Apache Spark, Apache Beam, Kubernetes, Docker, CI/CD, narzędzi ETL, data observability oraz systemów kampanijnych. Znajomość Rusta będzie dodatkowym atutem, ale nie jest konieczna.
Co zyskujesz dołączając do BlueSoft: współpracę w zespole interdyscyplinarnych ekspertów - entuzjastów technologii, ceniących bezpośredniość i partnerskie relacje;
długoterminowe zaangażowanie projektowe w firmie, która nieprzerwanie od ponad 20 lat rozwija się na rynku IT;
udział w różnorodnych projektach IT realizowanych dla rozpoznawalnych klientów - liderów w swoich branżach;
dostęp do najnowszych technologii i środowisko oparte na najwyższych standardach inżynieryjnych;
elastyczne warunki realizacji usług - hybrydowo lub w pełni zdalnie, dopasowane indywidualnie do charakteru współpracy (każdy zespół ustala to samodzielnie);
ekosystem wymiany wiedzy i rozwoju: szkolenia wewnętrzne, gildie tematyczne, szkolenia i certyfikacje Cloud w ramach partnerstw technologicznych z czterema dostawcami chmury;
dostęp do nauki języka angielskiego lub niemieckiego online oraz grupowe zajęcia językowe;
możliwość przystąpienia do Multisport i prywatnej opieki medycznej na preferencyjnych warunkach wynegocjowanych przez Bluesoft;
morskie przygody - rejsy po Morzu Karaibskim, Śródziemnym i Północnym z dofinansowaniem ze strony Bluesoft.
Rekrutujemy zdalnie. Indywidualny onboarding całkowicie online.
#J-18808-Ljbffr
Python Developer z ETL in Warsaw – pracodawca: BlueSoft
BlueSoft to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w sercu Warszawy. Nasza kultura opiera się na współpracy i innowacyjności, co sprzyja rozwojowi zawodowemu pracowników. Oferujemy elastyczne warunki pracy w modelu hybrydowym oraz możliwość uczestnictwa w interesujących projektach dla renomowanych klientów, co czyni nas idealnym miejscem dla ambitnych liderów projektów IT.
