W skrócie
- Zadania: Buduj i optymalizuj potoki ETL w chmurze Azure i Databricks.
- Firma: Innowacyjna firma finansowa z globalnym zasięgiem.
- Benefity: Atrakcyjne wynagrodzenie, pełnoetatowa umowa B2B, praca stacjonarna.
- Pozostałe informacje: Możliwość pracy w dynamicznym zespole i rozwój kariery w międzynarodowym środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na jakość danych w branży finansowej.
- Kwalifikacje: 5+ lat doświadczenia w inżynierii danych oraz umiejętności w ETL i narzędziach chmurowych.
Przewidywane wynagrodzenie mieści się w przedziale 36000 - 44000 zł za rok.
Obecnie poszukujemy Senior Data Engineera, który dołączy do innowacyjnego zespołu danych w naszej firmie klienta, finansowej (finansowanie captive) części globalnej firmy motoryzacyjnej. W tej roli Optiveum jest stroną rekrutacyjną i umowy, co oznacza, że podpiszesz umowę współpracy bezpośrednio z nami.
Będziesz budować i optymalizować ETL pipelines w ekosystemie Azure i Databricks, migrować dane z systemów dziedziczonych na platformy nowej generacji, zapewniać jakość danych oraz współpracować z zespołami międzyfunkcyjnymi, aby dostarczać użyteczne informacje.
Szczegóły:
- Stawka: do 165 PLN/h netto + VAT
- Model pracy: umowa B2B, pełny etat (40 h/tydzień), 100% onsite
- Lokalizacja: Wrocław
- Język: angielski (C1)
Obowiązki:
- Ekstrakcja, łączenie, transformacja, ładowanie i oczyszczanie danych z różnych źródeł w celu dostarczenia wysokiej jakości zbiorów danych do analizy, w tym migracja z systemów dziedziczonych
- Współpraca z modelarzami danych i analitykami biznesowymi w celu zrozumienia modelu danych i mapowania źródło-do-staging
- Tworzenie struktur danych gotowych do analizy, w tym DDL dla tabel i widoków MS Cloud SQL Server w bazie danych Pond (podzbiór Data Lake)
- Projektowanie i rozwijanie notatników Databricks, które ekstraktują dane z plików wejściowych i łączą powiązane encje w Shared File Formats (SFFs)
- Konfigurowanie tabel Ingestion Framework do ładowania tabel staging i Data Lake Core (DLC)
- Budowanie dużych partii i rzeczywistych potoków danych w środowiskach chmurowych lub lokalnych oraz rozwijanie wydajnych algorytmów
- Stosowanie najlepszych praktyk CI/CD i wprowadzanie automatyzacji w istniejących i przyszłych przepływach integracyjnych
- Śledzenie wzorców konsumpcji danych i współpraca z zarządzaniem danymi oraz stewardami informacji nad kuratowanym katalogiem danych
- Wprowadzanie ulepszeń w pozyskiwaniu danych, testowaniu i narzędziach w celu podniesienia jakości danych
- Monitorowanie wydajności i optymalizacja zapytań SQL
- Przygotowywanie szczegółowych dokumentów projektowych na podstawie dokumentów wymagań biznesowych i systemowych
- Praca w międzyfunkcyjnych zespołach agile i udział w analizie wymagań oraz szacunkach
Wymagania:
- 5+ lat doświadczenia w inżynierii danych lub pokrewnej dziedzinie, z silnym naciskiem na ETL i narzędzia danych w chmurze
- Dyplom licencjata w dziedzinie informatyki, inżynierii lub pokrewnej (preferowany magister)
- Certyfikaty: Microsoft Certified Azure Data Engineer i Databricks Certified Data Engineer
- Biegłość w Pythonie, Javie lub Scali
- Praktyczne doświadczenie z MS Cloud SQL Server, Azure Data Factory, Azure Databricks, PySpark, Spark SQL, ADLS, Power BI, SSIS i SSRS
- Silne umiejętności SQL i doświadczenie z relacyjnymi bazami danych
- Znajomość technologii big data i frameworków przetwarzania danych
- Doświadczenie w Agile/Scrum
- Silne umiejętności rozwiązywania problemów oraz komunikacji i nastawienie na współpracę
- Angielski na poziomie C1
Miło widziane:
- Doświadczenie w usługach finansowych, najlepiej w firmie finansowej captive, w tym dane klientów, dealerów i dostawców
- Doświadczenie w dostarczaniu globalnych hurtowni danych używanych w różnych regionach
Senior Data Engineer in Wrocław – pracodawca: Optiveum
Optiveum to doskonały pracodawca, oferujący elastyczny model pracy hybrydowej w sercu Polski, w miastach takich jak Warszawa, Gdańsk, Gdynia i Łódź. Nasza kultura pracy opiera się na współpracy i innowacyjności, co sprzyja rozwojowi zawodowemu pracowników, a także zapewnia dostęp do unikalnych projektów w międzynarodowym środowisku finansowym. Oferujemy konkurencyjne wynagrodzenie oraz możliwość pracy z najnowszymi technologiami w dynamicznej branży bankowej.
