W skrócie
- Zadania: Projektuj i optymalizuj nowoczesne platformy danych w chmurze, korzystając z Apache Spark i Delta Lake.
- Firma: Dateonic - innowacyjna firma technologiczna z pasją do danych i AI.
- Benefity: Możliwość pracy zdalnej, wsparcie techniczne i rozwój kariery w dynamicznym środowisku.
- Pozostałe informacje: Wspierająca społeczność inżynierska i możliwość nauki od ekspertów w branży.
- Dlaczego ta praca: Pracuj nad globalnymi projektami z wpływem na branżę i rozwijaj swoje umiejętności w chmurze.
- Kwalifikacje: Doświadczenie w Apache Spark, Delta Lake oraz programowaniu w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 63000 - 77000 zł za rok.
O Dateonic i projekt
Big Data i AI są w naszej DNA, z Databricks w centrum naszej innowacji. Dateonic łączy wiodącą w branży wiedzę techniczną z podejściem skoncentrowanym na produkcie, aby przekształcać surowe dane w inteligencję działania. Nasza kultura opiera się na trzech podstawowych wartościach: Pasji, Społeczności i Zaangażowaniu. W tej roli outsourcingowej będziesz reprezentować Dateonic w długoterminowej inicjatywie z globalnym liderem innowacji doświadczeń.
W tej roli szukamy doświadczonego Starszego Inżyniera Danych, który zaprojektuje, zbuduje i zoptymalizuje nowoczesne, oparte na chmurze platformy danych wspierające analitykę, AI i produkty danych. Oprócz dostarczania technicznego, cenimy profesjonalistów, którzy są naprawdę ciekawi kontekstu biznesowego za liczbami, stosując praktyczną analizę i doświadczenie, aby pomóc kształtować wymagania.
Obowiązki:
- Projektowanie, wdrażanie i optymalizacja skalowalnych platform danych wsadowych, strumieniowych i prawie rzeczywistych przy użyciu Apache Spark i Delta Lake, głównie na AWS i Databricks (z GCP lub Azure/Fabric tam, gdzie wymagają tego strumienie projektowe).
- Budowanie solidnych procesów pobierania, transformacji i kuracji danych dla danych strukturalnych i niestrukturalnych, stosując wzorce lakehouse i warstwy medalionowe (brązowa, srebrna, złota).
- Wsparcie migracji między chmurami, w tym przenoszenie starych potoków, modeli danych i warstw przechowywania.
- Dostarczanie zestawów danych gotowych do produkcji oraz budowanie potoków danych dla uczenia maszynowego, modelowania przyczynowego i przypadków użycia GenAI.
- Projektowanie logicznych i fizycznych modeli danych dla przypadków użycia analitycznych i operacyjnych, orkiestrując zautomatyzowane przepływy pracy.
- Wdrażanie solidnej obserwowalności platformy, monitorując świeżość danych, niezawodność potoków, efektywność kosztową i zgodność z SLA.
- Budowanie warstw serwisowych (API, wejścia funkcji, punkty analityczne) i bliska współpraca z naukowcami danych, inżynierami ML i interesariuszami biznesowymi.
Wymagania:
- Silne doświadczenie praktyczne z Apache Spark, Delta Lake oraz rozwojem potoków wsadowych i strumieniowych.
- Zaawansowane umiejętności programowania w Pythonie i SQL oraz solidne zrozumienie modelowania danych, jakości danych i zasad zarządzania danymi.
- Udokumentowane doświadczenie z platformą Databricks Lakehouse, najlepiej na AWS.
- Głęboka wiedza techniczna w co najmniej jednej głównej chmurze (AWS, GCP lub Azure/Fabric) oraz otwartość na pracę w różnych chmurach.
- Solidne zrozumienie systemów rozproszonych, architektur lakehouse, skalowalności i strojenia wydajności systemu.
- Proaktywne, konsultacyjne podejście: komfortowe zadawanie pytań, kwestionowanie założeń i skuteczna współpraca w zespołach zwinnym.
Preferencje:
- Doświadczenie praktyczne w wielu chmurach lub bezpośrednie doświadczenie w migracjach między chmurami.
- Praktyczne doświadczenie z usługami Google Cloud Platform.
- Znajomość Snowflake.
- Doświadczenie z potokami danych GenAI, bazami danych wektorowymi i przygotowaniem danych LLM.
- Znajomość technologii strumieniowania zdarzeń lub narzędzi ML/eksperymentów.
Senior Data Engineer in Gdańsk – pracodawca: RemoDevs
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku pracy. Jako Data Engineer z doświadczeniem w Databricks, będziesz częścią dużej transformacji danych i AI, co pozwoli Ci na rozwijanie swoich umiejętności w nowoczesnej architekturze lakehouse. Oferujemy elastyczne godziny pracy, wsparcie w nauce oraz współpracę z utalentowanymi specjalistami, co czyni nas idealnym miejscem dla osób poszukujących satysfakcjonującej kariery.
