W skrócie
- Zadania: Pomóż w transformacji platformy danych, korzystając z dbt i Lakekeeper.
- Firma: Innowacyjna firma technologiczna z otwartą kulturą współpracy.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z doskonałymi możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na przyszłość analityki danych.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz znajomość dbt i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 63000 - 77000 zł za rok.
W tej roli pomożesz przekształcić platformę danych, która obecnie opiera się na Spark i Pythonie, zorganizowanej za pomocą DAG-ów Airflow i przechowywanej w Apache Iceberg, w bardziej modułową architekturę docelową skoncentrowaną na dbt i Lakekeeper.
Obowiązki:
- Wsparcie migracji platformy danych Agora do architektury opartej na chmurze.
- Rozwój i utrzymanie logiki transformacji danych przy użyciu dbt jako centralnej warstwy logiki biznesowej.
- Refaktoryzacja i konsolidacja logiki obecnie rozproszonej pomiędzy Spark, Python i Airflow w bardziej ustandaryzowane podejście oparte na dbt.
- Praca z Apache Iceberg jako rdzeniem warstwy przechowywania w obecnej i docelowej architekturze.
- Wkład w implementację otwartej i modułowej platformy zbudowanej wokół Lakekeeper.
- Wsparcie procesów wprowadzania danych w Starburst, Microsoft Fabric i Snowflake.
- Pomoc w budowie i utrzymaniu procesów harmonogramowania i orkiestracji przy użyciu dbt i/lub Microsoft Fabric.
- Umożliwienie i poprawa jakości danych, śladu, dokumentacji oraz praktyk CI/CD w całej platformie.
- Współpraca nad przejściem warstwy semantycznej z Dremio do Starburst.
- Wsparcie modelowania semantycznego dla analityki przy użyciu widoków Iceberg przechowywanych w Lakekeeper.
- Ścisła współpraca z interesariuszami międzyfunkcyjnymi w celu zmniejszenia złożoności operacyjnej i poprawy możliwości utrzymania platformy.
- Wkład w rozwój elastycznej podstawy danych przygotowanej na przyszłe analizy i przypadki użycia oparte na AI.
Wymagania:
- Silne doświadczenie w inżynierii danych lub inżynierii analitycznej.
- Praktyczne doświadczenie z dbt.
- Solidna znajomość SQL i projektowania transformacji opartych na SQL.
- Doświadczenie z nowoczesnymi koncepcjami platform danych i magazynów/lakehouse.
- Praktyczne doświadczenie z Apache Iceberg.
- Doświadczenie z przynajmniej niektórymi z następujących technologii: Spark, Python, Airflow, Starburst, Microsoft Fabric, Snowflake.
- Zrozumienie modelowania danych, warstw semantycznych i projektowania danych skoncentrowanego na analizach.
- Doświadczenie z CI/CD, testowaniem i praktykami jakości danych w platformach danych.
- Znajomość standardów dokumentacji technicznej i śladu.
- Umiejętność pracy w otwartej, modułowej architekturze z oddzielonymi zasadami przechowywania i obliczeń.
- Zrozumienie wyzwań związanych z migracją platformy opartej na chmurze i najlepszych praktyk.
- Silne umiejętności współpracy i komunikacji.
Miło widziane:
- Doświadczenie z Lakekeeper.
- Migracja z przestarzałych lub fragmentarycznych wzorców transformacji danych do architektur skoncentrowanych na dbt.
- Znajomość Dremio i migracja do Starburst.
- Doświadczenie z łącznością BI opartą na ODBC/JDBC.
- Ekspozycja na zasady projektowania platform danych gotowych na AI.
Lead DBT Engineer in Katowice – pracodawca: SoftServe
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku publicznym. Pracując jako Lead Backend Engineer, będziesz częścią zespołu, który kładzie duży nacisk na innowacje i współpracę, a także korzysta z najnowszych technologii w obszarze Java i PHP. Oferujemy elastyczne godziny pracy, wsparcie w dalszym kształceniu oraz przyjazną atmosferę, która sprzyja wymianie wiedzy i doświadczeń w międzynarodowym zespole.
