Senior Data Engineer in Wrocław

O projekcie: Jesteśmy zespołem entuzjastów technologii, który ma na celu połączenie najlepszych umysłów w usługach IT i analityce. Naszym celem jest budowanie nowoczesnych centrów IT i analitycznych, które umożliwiają naszym partnerom stawanie się organizacjami opartymi na danych. W obszarze Zarządzania Danymi i Fundacji Danych naszego klienta poszukujemy wyjątkowego inżyniera danych – doświadczonego inżyniera, który potrafi samodzielnie podejmować się złożonych wyzwań technicznych i przekształcać je w solidne, skalowalne rozwiązania.

To nie jest rola skoncentrowana na utrzymaniu lub rutynowych zadaniach. Dołączysz do grupy inżynieryjnej o wysokim poziomie seniority, pracującej nad strategicznymi i technicznie wymagającymi inicjatywami, przechodząc między projektami w zależności od priorytetów i potrzeb inżynieryjnych. Szeroka organizacja Zarządzania Danymi składa się z około 30 inżynierów i specjalistów technologicznych, podczas gdy ta rola będzie koncentrować się głównie na wybranym zestawie inicjatyw o wysokim wpływie.

W tej roli będziesz przyczyniać się do kilku strategicznych projektów w obszarze Zarządzania Danymi, w tym:

• Migracja platformy danych do Databricks: Migracja i modernizacja istniejących możliwości zarządzania danymi do ekosystemu Databricks, w tym wsparcie inżynieryjne, integracja platformy oraz wdrażanie nowych rozwiązań opartych na Databricks.
• Rozwiązanie do odkrywania danych wspomagane AI: Opracowanie nowego podejścia do odkrywania danych w przedsiębiorstwie, które łączy takie możliwości jak Databricks, Unity Catalog, odkrywanie danych wspomagane AI, RAG oraz interfejsy konwersacyjne.
• Fundacja Danych: Rozwój i ewolucja Fundacji Danych organizacji w Databricks, tworzenie skalowalnych fundamentów technicznych, które mogą być wykorzystywane w różnych zespołach, rynkach i produktach danych.

Kto odniesie sukces w tej roli? Prawdopodobnie będziesz cieszyć się tą pozycją, jeśli:

• jesteś przede wszystkim silnym inżynierem;
• lubisz kodować i chcesz, aby kodowanie było znaczącą częścią twojej codziennej pracy;
• czujesz się komfortowo, otrzymując trudny problem zamiast szczegółowej listy kroków wdrożeniowych;
• potrafisz pracować samodzielnie i podejmować rozsądne decyzje techniczne;
• naturalnie szukasz ulepszeń zamiast akceptować istniejące rozwiązania jako stałe;
• cieszysz się z eksploracji nowych technologii i przekształcania ich w praktyczne rozwiązania dla przedsiębiorstw;
• czujesz się komfortowo, poruszając się między różnymi inicjatywami i kontekstami technicznymi;
• potrafisz dyskutować o architekturze z seniorami inżynierami i architektami, pozostając jednocześnie głęboko zaangażowanym;
• preferujesz środowisko, w którym kompetencje techniczne, odpowiedzialność i inicjatywa mają większe znaczenie niż tytuły zawodowe.

Co oferujemy:

• Możliwość pracy nad inicjatywami danych o wysokim wpływie, a nie powtarzalnym rozwojem biznesowym.
• Znacząca odpowiedzialność techniczna i swoboda w rozwiązywaniu problemów.
• Praca z Azure, Databricks, Python, PySpark, SQL oraz nowoczesnymi możliwościami AI.
• Możliwość wpływania na architekturę techniczną i praktyki inżynieryjne.
• Współpraca z doświadczonymi inżynierami i architektami w międzynarodowej organizacji technologicznej.

Wymagania:

• 8+ lat doświadczenia zawodowego w inżynierii danych, inżynierii oprogramowania lub pokrewnej dziedzinie.
• Silne, praktyczne doświadczenie komercyjne z Azure Databricks.
• Bardzo dobra znajomość ekosystemu chmurowego Azure i architektur danych opartych na chmurze.
• Doskonale umiejętności programowania w Pythonie – szukamy silnego programisty, a nie kogoś, kto używa Pythona tylko do podstawowego rozwoju notatników.
• Zaawansowane umiejętności w PySpark oraz doświadczenie w pracy z dużymi obciążeniami przetwarzania danych.
• Zaawansowane umiejętności SQL, w tym złożone transformacje, optymalizację i funkcje analityczne/okienne.
• Silne zrozumienie zasad inżynierii danych, wzorców ETL/ELT, potoków danych, przetwarzania rozproszonego i produkcyjnych platform danych.
• Doświadczenie w projektowaniu i dostarczaniu rozwiązań samodzielnie, przy ograniczonym nadzorze.
• Umiejętność zrozumienia nieznanego problemu technicznego, zaproponowania podejścia i doprowadzenia go do realizacji.
• Silne umiejętności rozwiązywania problemów i diagnozowania.
• Doświadczenie w pracy z praktykami inżynieryjnymi na poziomie produkcyjnym, w tym kontrolą wersji, testowaniem, CI/CD, monitorowaniem i procesami wdrożeniowymi.
• Silne zrozumienie zasad rozwoju oprogramowania oraz umiejętność tworzenia czystego, łatwego do utrzymania, dobrze zorganizowanego kodu.
• Wysoki poziom odpowiedzialności, niezależności i proaktywności.
• Doskonałe umiejętności komunikacyjne w języku angielskim, zarówno pisemne, jak i ustne.

W szczególności będziemy zainteresowani kandydatami, którzy również posiadają:

• Praktyczne doświadczenie z możliwościami AI w Databricks i nowoczesnymi rozwiązaniami danych wspomaganymi AI.
• Doświadczenie z architekturami RAG, aplikacjami opartymi na LLM lub interfejsami konwersacyjnymi opartymi na danych przedsiębiorstwa.
• Doświadczenie z Databricks Genie lub podobnymi możliwościami odkrywania danych w formie konwersacyjnej.
• Silna znajomość Unity Catalog.
• Doświadczenie w migracji platform danych przedsiębiorstwa lub rozwiązań zarządzania danymi do Databricks.
• Zrozumienie katalogowania danych, zarządzania metadanymi, genealogii, zarządzania i odkrywania danych.
• Silna świadomość architektury rozwiązań i danych oraz umiejętność znaczącego wkładu w decyzje architektoniczne.
• Doświadczenie w projektowaniu wielokrotnego użytku frameworków, komponentów lub standardów inżynieryjnych, a nie tylko pojedynczych potoków.
• Doświadczenie w optymalizacji wydajności w środowiskach Databricks/Spark.
• Doświadczenie z Azure DevOps i dojrzałymi praktykami CI/CD dla rozwiązań danych.

Codzienne zadania:

• Projektowanie, rozwijanie i optymalizacja złożonych rozwiązań danych i potoków danych na Azure i Databricks.
• Przyjmowanie pełnej odpowiedzialności technicznej za przypisane problemy inżynieryjne – od zrozumienia wyzwania przez projektowanie rozwiązania, wdrażanie, testowanie i wdrożenie produkcyjne.
• Pisanie wysokiej jakości, produkcyjnego kodu przy użyciu Pythona, PySpark i SQL.
• Intensywna praca z Azure Databricks i nowoczesnymi możliwościami ekosystemu Databricks.
• Eksploracja i wdrażanie możliwości wspomaganych AI w ramach platformy danych, w tym rozwiązań związanych z funkcjami AI Databricks, podejściami opartymi na RAG, odkrywaniem danych i konwersacyjnym dostępem do danych przedsiębiorstwa.
• Wkład w migrację i modernizację istniejących platform danych i rozwiązań do architektur opartych na Databricks.
• Praca z Unity Catalog i wkład w skalowalne podejścia do odkrywania danych, zarządzania i dostępu.
• Rozwiązywanie technicznie trudnych lub niestandardowych problemów, gdzie może nie być istniejącego planu lub gotowego rozwiązania.
• Proaktywne identyfikowanie możliwości poprawy architektury, wydajności, skalowalności, niezawodności i łatwości utrzymania.
• Kwestionowanie istniejących podejść, gdy widzisz lepsze rozwiązanie techniczne i aktywne wniesienie własnych pomysłów.
• Współpraca z inżynierami danych, architektami, właścicielami produktów, DataOps, QA, DevOps i innymi zespołami technologicznymi.
• Wsparcie dyskusji architektonicznych i wkład w decyzje dotyczące projektowania technicznego w całym krajobrazie Zarządzania Danymi.
• Przechodzenie między strategicznymi inicjatywami w miarę zmiany priorytetów, przynosząc silną ekspertyzę inżynieryjną tam, gdzie jest najbardziej potrzebna.