W skrócie
- Zadania: Twórz i utrzymuj skalowalne potoki danych z użyciem Databricks i Apache Spark.
- Firma: Dynamiczna firma technologiczna zajmująca się danymi i AI.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Możliwość pracy w zespole ekspertów i rozwój w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj nad nowoczesnymi projektami w obszarze danych i AI, mając realny wpływ.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz umiejętności w SQL i PySpark.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Poszukujemy Inżyniera Danych z silnym doświadczeniem w Databricks, aby dołączyć do projektu z zakresu danych i AI, skoncentrowanego na budowie nowoczesnej, skalowalnej platformy danych wspierającej analitykę, uczenie maszynowe i przypadki użycia AI.
Co będziesz robić:
- Projektować, budować i utrzymywać skalowalne potoki danych przy użyciu Databricks i Apache Spark.
- Integracja danych z wielu źródeł i budowanie niezawodnych, wielokrotnego użytku przepływów danych.
- Opracowywać i optymalizować rozwiązania przetwarzania danych dla dużych wolumenów danych.
- Ściśle współpracować z naukowcami danych, analitykami i interesariuszami biznesowymi w celu dostarczania produktów danych wspierających ML, BI i analitykę.
- Przyczyniać się do rozwoju zjednoczonej platformy danych i wysokiej jakości warstwy danych.
- Zapewniać, że potoki danych są niezawodne, skalowalne, wydajne i łatwe w utrzymaniu.
- Optymalizować przetwarzanie danych i infrastrukturę z naciskiem na wydajność, skalowalność i efektywność kosztową.
- Wdrażać i utrzymywać jakość danych, monitorowanie oraz najlepsze praktyki inżynierii danych.
- Wspierać rozwój i ewolucję nowoczesnych architektur lakehouse i chmurowych.
Twoje doświadczenie:
- Praktyczne doświadczenie z Databricks jest wymagane.
- Silne doświadczenie w inżynierii danych i budowaniu produkcyjnych potoków danych.
- Silne umiejętności SQL oraz PySpark / Apache Spark.
- Doświadczenie w pracy z dużymi zbiorami danych i rozproszonym przetwarzaniem danych.
- Dobre zrozumienie nowoczesnej platformy danych, koncepcji lakehouse i architektury danych.
- Doświadczenie z chmurowymi środowiskami takimi jak Azure, AWS lub GCP.
- Doświadczenie z Delta Lake i narzędziami do orkiestracji danych jest dużą zaletą.
- Doświadczenie w pracy z różnymi źródłami danych, formatami i wzorcami integracji.
- Umiejętność bliskiej współpracy z naukowcami danych, analitykami i innymi technicznymi interesariuszami oraz zrozumienie ich wymagań dotyczących danych.
- Silne umiejętności rozwiązywania problemów i pragmatyczne podejście do inżynierii danych.
Relewantne doświadczenie:
- Inżynieria platformy danych i lakehouse – budowanie skalowalnych platform dla analityki, raportowania, obciążeń ML i AI.
- Integracja i transformacja danych – integracja danych strukturalnych i niestrukturalnych z wielu systemów źródłowych w niezawodne, wielokrotnego użytku potoki danych.
- Jakość danych i zarządzanie – wdrażanie procesów i ram dla jakości danych, monitorowania, pochodzenia i zarządzania.
Stos technologiczny: Databricks, Apache Spark, PySpark, SQL, Delta Lake, Chmura (Azure / AWS / GCP)
Dlaczego warto do nas dołączyć? Będziesz częścią transformacji danych i AI na dużą skalę, budując fundamenty danych, które napędzają analitykę, uczenie maszynowe i przypadki użycia AI, pracując z nowoczesną architekturą Databricks i lakehouse.
Databricks Data Engineer in Warsaw – pracodawca: RemoDevs
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku pracy. Jako Data Engineer z doświadczeniem w Databricks, będziesz częścią dużej transformacji danych i AI, co pozwoli Ci na rozwijanie swoich umiejętności w nowoczesnej architekturze lakehouse. Oferujemy elastyczne godziny pracy, wsparcie w nauce oraz współpracę z utalentowanymi specjalistami, co czyni nas idealnym miejscem dla osób poszukujących satysfakcjonującej kariery.
