Data Engineer in Warsaw

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

• wsparcie projektu z branży ubezpieczeniowej w zakresie integracji systemu chmurowego z Databricks oraz istniejącą Hurtownią Danych opartą o Oracle i SAS,
• projektowanie i implementacja procesów ETL oraz przepływów danych pomiędzy warstwą cloud i środowiskiem on-premise,
• integracja Databricks, Azure Data Factory oraz Oracle, w tym przygotowanie danych do dalszego przetwarzania w Hurtowni Danych,
• udział w projektowaniu architektury rozwiązań danych, definiowaniu standardów technicznych oraz projektowaniu interfejsów wymiany danych między systemami,
• automatyzacja procesów wytwarzania i utrzymania rozwiązań, z wykorzystaniem CI/CD, GitHub Copilot oraz Visual Studio Code,
• realizacja bieżących zadań związanych z rozwojem i utrzymaniem rozwiązań Hurtowni Danych/BI w technologiach SAS, Oracle, Microsoft Fabric, Python, Kafka oraz Sanmargar Metastudio,
• budowa technicznych data martów, raportów BI oraz komponentów wspierających przetwarzanie i optymalizację danych,
• wsparcie projektów strategicznych w aspektach technologicznych, integracyjnych i architektonicznych,
• tryb realizacji usług: hybrydowo, obejmujący obecność w biurze w Warszawie 1 raz w tygodniu,
• budżet projektu: do 170 zł netto+VAT/h, w zależności od doświadczenia oraz zakresu świadczonych usług.

Kompetencje wymagane do realizacji usług:

• minimum 5-letnie doświadczenie na podobnym stanowisku,
• praktyczne doświadczenie w budowie i rozwoju hurtowni danych,
• bardzo dobra znajomość Oracle, mile widziana znajomość Oracle Exadata,
• umiejętność projektowania i implementacji procesów ETL, modelowania danych oraz projektowania przepływów danych,
• praktyczna znajomość Databricks oraz doświadczenie z danymi w środowisku cloud data platform i integracji Databricks z systemami zewnętrznymi,
• doświadczenie w środowiskach hybrydowych cloud + on-premise oraz w projektach Data & Analytics,
• znajomość Azure Data Factory, integracji danych pomiędzy cloud i on-premise oraz platform danych w Azure,
• znajomość SAS 9.4, SAS Viya oraz procesów realizowanych w środowisku SAS,
• znajomość Git/GitHub/Bitbucket/Bamboo w celu automatyzacji procesu wytwarzania,
• umiejętność wykorzystania AI/GitHub Copilot w zadaniach developerskich i analitycznych,
• umiejętność projektowania rozwiązań analitycznych, definiowania standardów technicznych oraz projektowania architektury rozwiązań danych,
• znajomość nowoczesnych architektur danych oraz projektowania interfejsów wymiany danych pomiędzy systemami.

Mile widziane:

• Doświadczenie z Microsoft Fabric, w programowaniu w Pythonie, automatyzacji procesów, tworzeniu skryptów integracyjnych oraz przetwarzaniu danych.
• Znajomość formatu Parquet, pracy z warstwami Data Lake oraz doświadczenie w integracji opartej na Kafka i strumieniach danych.

Co oferujemy w ramach współpracy?

• Różnorodne projekty technologiczne
• Realizacja projektów z obszaru Software, Embedded, Data, Cloud Services i AI.
• Inicjatywy eksperckie i presalesowe
• Możliwość udziału w działaniach eksperckich oraz wsparciu procesów presalesowych.
• Dodatkowe korzyści: Opieka medyczna, karta sportowa oraz platforma kafeteryjna dostępne zgodnie z obowiązującymi zasadami współpracy.