W skrócie
- Zadania: Twórz i optymalizuj potoki danych w nowoczesnych technologiach chmurowych.
- Firma: Inetum Polska, lider w transformacji cyfrowej z różnorodnym środowiskiem pracy.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy, wsparcie w rozwoju zawodowym.
- Pozostałe informacje: Możliwość uczestnictwa w inicjatywach społecznych i wydarzeniach sportowych.
- Dlaczego ta praca: Pracuj nad projektami, które mają realny wpływ na branżę lotniczą.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz umiejętności programowania w Pythonie.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Dołącz do ekscytującego projektu inżynierii danych w branży lotniczej, gdzie nowoczesne technologie chmurowe i Big Data są wykorzystywane do wspierania rozwiązań w zakresie predykcyjnej konserwacji silników samolotowych. Projekt koncentruje się na rozwijaniu i ulepszaniu skalowalnej platformy danych, która przetwarza duże ilości danych operacyjnych i technicznych. Przekształcając złożone zestawy danych w wiarygodne i dostępne informacje, platforma umożliwia zaawansowaną analizę związaną z wydajnością silników, potrzebami konserwacyjnymi i efektywnością operacyjną.
Jako Inżynier Danych dołączysz do ustalonego zespołu inżynieryjnego i będziesz pracować z technologiami takimi jak Microsoft Azure, Databricks, Apache Spark, Python i SQL. Będziesz odpowiedzialny za budowanie i optymalizację potoków danych, przetwarzanie dużych zbiorów danych oraz zapewnienie wysokiej jakości i dostępności danych do zastosowań analitycznych. To doskonała okazja dla kogoś, kto lubi rozwiązywać złożone wyzwania związane z danymi i chce pracować nad projektem, w którym nowoczesna inżynieria danych ma bezpośredni wpływ na niezawodność i konserwację zaawansowanych systemów lotniczych.
Główne zadania:
- Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych przy użyciu Azure Databricks, Apache Spark, Python i SQL
- Przetwarzanie i transformacja dużych ilości danych operacyjnych i technicznych wspierających predykcyjną konserwację i zastosowania analityczne
- Rozwój i optymalizacja procesów ETL/ELT dla efektywnego pobierania, transformacji i przechowywania danych
- Projektowanie i wdrażanie procesów CI/CD dla aplikacji Databricks przy użyciu narzędzi Azure, w tym Terraform i Databricks Asset Bundles (DABs)
- Praca z usługami przetwarzania i przechowywania danych Azure w celu budowy niezawodnych i skalowalnych rozwiązań danych
- Optymalizacja obciążeń Spark i poprawa ogólnej wydajności przetwarzania danych
- Wdrażanie walidacji danych i kontroli jakości w celu zapewnienia spójności, dokładności i niezawodności zestawów danych
- Współpraca z inżynierami danych i interesariuszami projektu w celu przetłumaczenia wymagań biznesowych i danych na rozwiązania techniczne
- Wkład w ciągły rozwój, utrzymanie i poprawę istniejącej platformy danych
- Rozwiązywanie problemów związanych z przetwarzaniem danych i poprawa stabilności oraz wydajności potoków danych
- Przygotowywanie i utrzymywanie dokumentacji technicznej dla wdrożonych rozwiązań i przepływów danych
Wymagania:
- Doświadczenie komercyjne w inżynierii danych
- Praktyczne doświadczenie z Databricks
- Doświadczenie w implementacji CI/CD dla aplikacji Databricks
- Praktyczne doświadczenie z usługami przetwarzania i przechowywania danych Microsoft Azure
- Silne doświadczenie z Apache Spark
- Dobra znajomość SQL
- Praktyczne doświadczenie w programowaniu w Pythonie
- Dobre zrozumienie koncepcji, standardów i narzędzi przetwarzania Big Data
- Doświadczenie w pracy z potokami przetwarzania danych na dużą skalę oraz procesami ETL/ELT
Preferencje:
- Licencjat lub magister w dziedzinie informatyki, inżynierii danych, matematyki lub pokrewnej dziedziny technicznej
Regular Data Engineer in Warsaw – pracodawca: Inetum
Inetum Polska to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznej branży IT. Pracownicy mogą liczyć na wsparcie w postaci finansowania szkoleń oraz certyfikacji, a także na elastyczne benefity dostosowane do ich potrzeb. Wspierająca i różnorodna kultura pracy, połączona z zaangażowaniem w lokalne inicjatywy społeczne, sprawia, że praca w Inetum jest nie tylko satysfakcjonująca, ale również znacząca.
