AI Data Engineer in Warsaw

Jesteśmy w przełomowym momencie naszej podróży firmowej - i jesteśmy z tego bardzo podekscytowani. Każdego dnia znajdujemy nowe sposoby na wzmocnienie naszej nagradzanej kultury oraz przyspieszenie kreatywności, innowacji i wzrostu. Naszym celem jest pomoc klientom w poprawie wyników biznesowych dzięki Chmurze Danych Dun & Bradstreet i Żywej Tożsamości Biznesowej, i jesteśmy niezwykle pasjonatami i zaangażowani w ten cel. Jeśli chcesz mieć natychmiastowy wpływ w firmie, która przyjmuje odważne i różnorodne myślenie, dołącz do nas!

Jako Data Engineer II w naszym zespole AI & Ingestion będziesz pracować jako część zespołu agile, budując i obsługując rurociągi, które wprowadzają nowe dane do Dun & Bradstreet, coraz częściej wykorzystując AI do zbierania, wydobywania, wzbogacania i walidacji danych. Będziesz odpowiedzialny za projektowanie, budowanie i uruchamianie produkcyjnych rurociągów AI, od pozyskiwania źródeł i ich wprowadzania po wydobywanie, klasyfikację i dopasowywanie jednostek wspomagane przez AI oraz dostarczanie zgodnie z naszymi standardami jakości danych.

Twoim celem będzie zastosowanie nowoczesnych usług chmurowych i generatywnego AI w całym cyklu wprowadzania danych, wykorzystując ich skalę i automatyzację, aby przyspieszyć sposób, w jaki onboardujemy i kurujemy dane, zachowując dokładność, integralność, kompletność, zgodność i spójność jako priorytet. Poza dostawą, odegrasz aktywną rolę w naszej społeczności praktyków AI & Ingestion, dzieląc się wzorcami, narzędziami i zdobytymi doświadczeniami, aby dobre praktyki były przyjmowane w całych zespołach. Ciągłe doskonalenie będzie kluczowym wskaźnikiem sukcesu w tej roli.

Kluczowe obowiązki:

• Projektowanie, budowanie i obsługiwanie skalowalnych rurociągów do wprowadzania danych z różnych źródeł, w tym zbierania danych z sieci, integracji API i dostaw plików wsadowych, na naszej platformie danych w chmurze.
• Budowanie i produkcja rurociągów AI, które wykorzystują duże modele językowe (LLM) i uczenie maszynowe do wydobywania, klasyfikacji, wzbogacania i standaryzacji danych strukturalnych i niestrukturalnych.
• Opracowywanie agentowych i wzorców generacji wzbogaconej o wyszukiwanie (RAG), w tym projektowanie podpowiedzi, integracje narzędzi i protokołów kontekstowych modeli (MCP) oraz orkiestrację, gdzie przynoszą wymierne korzyści w zakresie pokrycia, szybkości lub jakości.
• Ustanawianie oceny i monitorowania komponentów AI, w tym benchmarków dokładności, przeglądów przez ludzi, wykrywania dryfu oraz śledzenia kosztów i opóźnień.
• Wbudowywanie jakości danych, zarządzania danymi i praktyk Odpowiedzialnego AI w każdy rurociąg, zgodnie z politykami etyki AI i zarządzania danymi Dun & Bradstreet.
• Badanie i stosowanie nowoczesnych technik masteringu danych i rozwiązywania jednostek, w tym dopasowywania wspomaganego przez AI, aby zwiększyć uzyskiwane informacje z rozproszonych źródeł danych.
• Posiadanie zdrowia operacyjnego rurociągów do wprowadzania danych i AI w produkcji, w tym monitorowanie, rozwiązywanie incydentów i ciągła optymalizacja wydajności i kosztów.
• Współpraca i pomoc w prowadzeniu społeczności praktyków AI & Ingestion poprzez dzielenie się komponentami, wzorcami i standardami, organizowanie sesji dzielenia się wiedzą oraz wspieranie podnoszenia kwalifikacji inżynierów w całych zespołach.
• Wsparcie innych inżynierów poprzez przeglądy projektów, przeglądy kodu i mentoring.
• Opracowywanie i utrzymywanie dokumentacji, w tym diagramów przepływu danych, genealogii danych, instrukcji dotyczących rurociągów oraz dokumentacji dotyczącej podpowiedzi i modeli.
• Współpraca z interesariuszami produktowymi, naukowymi i biznesowymi w celu przetłumaczenia wymagań dotyczących danych na skuteczne rozwiązania w zakresie wprowadzania danych i AI.

Kluczowe wymagania:

• 5+ lat doświadczenia w inżynierii danych lub podobnej pozycji, w tym praktyczne doświadczenie w budowaniu rurociągów do wprowadzania danych.
• Silna znajomość Pythona i SQL to minimalne wymagania.
• Praktyczne doświadczenie w budowaniu rurociągów lub aplikacji z LLM (na przykład za pośrednictwem Anthropic, OpenAI lub Google Vertex AI / Gemini APIs), w tym projektowanie podpowiedzi, strukturalne wyniki i ocena.
• Doświadczenie w przetwarzaniu danych w chmurze, preferowany GCP (np. BigQuery, Dataflow, Cloud Composer/Airflow, Vertex AI); doświadczenie z Databricks jest dodatkowym atutem.
• Doświadczenie w różnych metodach wprowadzania i zbierania danych, takich jak zbieranie danych z sieci, API, SFTP i inne kanały dostarczania plików.
• Znajomość RAG, osadzeń i baz danych wektorowych, frameworków agentowych lub MCP jest pożądana.
• Zrozumienie najlepszych praktyk inżynieryjnych dla rurociągów AI (MLOps/LLMOps), w tym kontroli wersji, CI/CD, automatycznego testowania i monitorowania.
• Świadomość zasad Odpowiedzialnego AI oraz kwestii związanych z prywatnością danych i zarządzaniem (np. RODO) podczas stosowania AI do danych.
• Prawdziwa pasja do dzielenia się wiedzą, z doświadczeniem lub silnym zainteresowaniem w przyczynianiu się do społeczności praktyków, wewnętrznych prezentacji technologicznych lub mentoringu.
• Postawa właścicielska we wszystkim, co robisz; bądź rozwiązywaczem problemów, bądź ciekawy i zainspirowany do działania, bądź proaktywny, szukaj sposobów na współpracę i łączenie się z ludźmi oraz zespołami w celu wspierania sukcesu.
• Ciągłe nastawienie na rozwój: kontynuuj naukę w szybko zmieniającym się krajobrazie AI poprzez społeczne doświadczenia i relacje z interesariuszami, ekspertami, kolegami i mentorami oraz poszerzaj swoje kompetencje poprzez strukturalne kursy i programy.
• W miarę możliwości, biegłość w języku angielskim oraz językach istotnych dla rynku pracy.
• Solidna wiedza o danych, najlepiej dotycząca zestawów danych biznesowych, z udokumentowanymi umiejętnościami analitycznymi i ilościowymi.
• Dyplom licencjata w dziedzinie nauk o danych, systemów informacyjnych, informatyki, matematyki lub podobnej.