W skrócie
- Zadania: Projektuj i implementuj pipeline'y danych w Microsoft Fabric oraz optymalizuj procesy.
- Firma: Scalo - innowacyjna firma technologiczna z różnorodnymi projektami.
- Benefity: Stawka do 150 PLN/h, opieka medyczna, karta sportowa i platforma kafeteryjna.
- Pozostałe informacje: Hybrydowy model pracy z możliwością rozwoju w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj nad ekscytującymi projektami w branży ubezpieczeniowej i rozwijaj swoje umiejętności.
- Kwalifikacje: Minimum 3 lata doświadczenia jako Data Engineer oraz znajomość Python i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Cześć! Poznaj możliwości współpracy ze Scalo!
Zakres współpracy obejmuje:
- projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,
- onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,
- realizację transformacji danych oraz przygotowanie danych wsadowych,
- implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,
- wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,
- realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,
- współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,
- zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,
- optymalizację procesów pod kątem wydajności i kosztów,
- udział w projekcie realizowanym w branży ubezpieczeniowej.
Model współpracy: hybrydowy (1x w tygodniu w Warszawie), stawka do 150 PLN/h w oparciu o współpracę B2B.
Kompetencje wymagane do realizacji usług:
- minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
- praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,
- doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,
- znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,
- doświadczenie w pracy z systemem kontroli wersji Git,
- doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,
- gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa,
- mile widziany certyfikat DP-600 lub DP-700,
- mile widziane doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
- mile widziana znajomość języka R,
- mile widziane doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,
- mile widziane doświadczenie z frameworkami Data Quality,
- mile widziane doświadczenie w metodykach Agile i Scrum.
Co oferujemy w ramach współpracy?
- Różnorodne projekty technologiczne: Realizacja projektów z obszaru Software, Embedded, Data, Cloud Services i AI.
- Inicjatywy eksperckie i presalesowe: Możliwość udziału w działaniach eksperckich oraz wsparciu procesów presalesowych.
- Dodatkowe korzyści: Opieka medyczna, karta sportowa oraz platforma kafeteryjna dostępne zgodnie z obowiązującymi zasadami współpracy.
Data Engineer in Warsaw – pracodawca: Scalo
Scalo to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w obszarze AI i Cloud Engineering. Pracując w Warszawie, zyskujesz dostęp do różnorodnych projektów technologicznych oraz inicjatyw eksperckich, a także korzystasz z atrakcyjnych benefitów, takich jak opieka medyczna i karta sportowa. Nasza kultura pracy oparta na Agile i DevOps sprzyja innowacyjności oraz współpracy, co czyni nas idealnym miejscem dla osób pragnących rozwijać swoje umiejętności w dynamicznym środowisku.
