W skrócie
- Zadania: Pracuj nad migracją platformy analitycznej z BigQuery do Databricks i projektuj nowoczesne architektury Lakehouse.
- Firma: Sigma Software, innowacyjna firma technologiczna w obszarze inżynierii danych.
- Benefity: Atrakcyjne wynagrodzenie, możliwość pracy zdalnej oraz ciągły rozwój zawodowy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery w międzynarodowych projektach.
- Dlaczego ta praca: Zyskaj doświadczenie w nowoczesnych technologiach i wpływaj na rozwój platformy danych.
- Kwalifikacje: 5+ lat doświadczenia w inżynierii danych oraz umiejętności programowania w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Jesteś starszym inżynierem danych, który pasjonuje się budowaniem skalowalnych, wydajnych platform danych i pracą z nowoczesnymi technologiami Lakehouse? Dołącz do Centrum Doskonałości Inżynierii Danych Sigma Software i przyczyń się do modernizacji ekosystemu analitycznego na dużą skalę dla branży detalicznej. Szukamy specjalisty z silnym doświadczeniem w Databricks, PySpark i inżynierii danych w chmurze, aby uczestniczyć w migracji dużej platformy analitycznej z BigQuery do Databricks.
W ramach inicjatywy modernizacyjnej zespół inżynieryjny wdraża skalowalne przetwarzanie oparte na Sparku, architekturę Delta Lake, warstwy danych medalionowych oraz nowoczesne praktyki zarządzania. Rola oferuje możliwość pracy z rozproszonymi systemami przetwarzania danych, optymalizacji obciążeń na dużą skalę oraz przyczynienia się do ewolucji platformy danych klasy enterprise.
Kluczowe technologie: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
Opis stanowiska:
- Uczestnictwo w migracji dużej platformy analitycznej z BigQuery do Databricks
- Projektowanie i wdrażanie skalowalnych architektur Lakehouse przy użyciu Databricks i Delta Lake
- Analiza istniejących obciążeń ETL / ELT i definiowanie podejść migracyjnych
- Rozwój i optymalizacja potoków danych przetwarzających duże wolumeny danych detalicznych i analitycznych
- Wdrażanie strategii przetwarzania inkrementalnego i skalowalnych ram transformacji
- Budowanie i utrzymywanie rozwiązań przetwarzania danych opartych na Sparku przy użyciu PySpark
- Projektowanie i utrzymywanie warstw architektury medalionowej, w tym Bronze, Silver i Gold
- Wdrażanie najlepszych praktyk w zakresie zarządzania danymi i bezpieczeństwa przy użyciu Unity Catalog
- Współpraca z zespołami Data Science, Analytics, Product i Customer Engineering
- Uczestnictwo w dyskusjach architektonicznych i projektowaniu rozwiązań technicznych
- Rozwój wielokrotnego użytku komponentów platformy danych i standardów inżynieryjnych
- Przeprowadzanie przeglądów kodu i przyczynianie się do niezawodności i utrzymania platformy
- Rozwiązywanie problemów i optymalizacja złożonych obciążeń SQL i Spark
- Wsparcie wdrożeń produkcyjnych i działań modernizacyjnych platformy
Kwalifikacje:
- 5+ lat doświadczenia zawodowego jako inżynier danych
- Silne umiejętności programowania w Pythonie i zaawansowany SQL
- Praktyczne doświadczenie komercyjne z Databricks
- Silna znajomość Apache Spark, głównie PySpark
- Doświadczenie w projektowaniu i budowaniu nowoczesnych platform danych w chmurze
- Doświadczenie w rozwijaniu potoków ETL / ELT i rozwiązań przetwarzania danych na dużą skalę
- Praktyczne doświadczenie z Delta Lake
- Doświadczenie z deklaratywnymi potokami Sparka
- Doświadczenie w monitorowaniu klastrów, analizie metryk i optymalizacji wydajności
- Silne zrozumienie architektur przetwarzania danych rozproszonych
- Solidne zrozumienie koncepcji hurtowni danych i modelowania wymiarowego
- Doświadczenie z Airflow lub podobnymi narzędziami orkiestracyjnymi
- Doświadczenie w optymalizacji złożonych obciążeń analitycznych SQL
- Silne umiejętności rozwiązywania problemów i optymalizacji wydajności
- Umiejętność pracy w międzynarodowych zespołach międzyfunkcyjnych
- Poziom angielskiego co najmniej Upper-Intermediate
Dodatkowe informacje:
- Doświadczenie w pracy z usługami chmurowymi GCP
- Doświadczenie z platformami chmurowymi AWS lub Azure
- Doświadczenie w analizie detalicznej lub dziedzinie optymalizacji cen
- Doświadczenie w wspieraniu obciążeń danych związanych z uczeniem maszynowym lub AI
- Doświadczenie w modernizacji platformy i inicjatywach migracji do chmury
Profil osobisty:
- Silne umiejętności analityczne i rozwiązywania problemów
- Proaktywne podejście i odpowiedzialność
- Umiejętność pracy samodzielnie i w zespole
- Dobre umiejętności komunikacyjne i współpracy ze interesariuszami
- Pasja do skalowalnej inżynierii danych i nowoczesnych platform danych
- Zainteresowanie ciągłym uczeniem się i innowacjami technologicznymi
Senior Data Engineer in Kraków – pracodawca: Sigma Software
Sigma Software to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w branży technologii budowlanej. Pracownicy mają możliwość rozwoju zawodowego poprzez udział w architekturze aplikacji oraz współpracę z zespołami iOS, QA i backend, co sprzyja innowacyjności i kreatywności. Dodatkowo, firma stawia na nowoczesne narzędzia i metodyki, co sprawia, że praca tutaj jest nie tylko satysfakcjonująca, ale także pełna wyzwań.
