AI Quality Engineering Team Lead in Katowice

Witaj! Cieszymy się, że jesteś z nami! Poszukujemy pracowników do naszego Centrum Doskonałości Usług Aviva! Co będziesz robić?

• W prowadzeniu podejścia inżynierii jakości dla rozwiązań AI, od oceny ryzyka po wydanie i monitorowanie.
• Ocena zachowań AI w kontekście multi-turn, RAG i agentów, w tym podstaw, zabezpieczeń i użycia narzędzi.
• Budowanie reprezentatywnych zbiorów danych oraz ocena pokrycia, równowagi, wycieków, jakości etykiet i świeżości.
• Ocena poprawności, trafności, halucynacji, bezpieczeństwa, stronniczości, prywatności i dryfu behawioralnego.
• Badanie nieoczekiwanych wyników w danych, podpowiedziach, modelach, integracji, orkiestracji i ewaluatorach.
• Budowanie wielokrotnego użytku komponentów ewaluacyjnych, zautomatyzowanych pipeline'ów testowych, raportowania i wzorców generowania dowodów dla wielu produktów AI.
• Łączenie metod testowych i walidacja zautomatyzowanych ewaluatorów w porównaniu do osądów ludzkich.
• Używanie bazowych wskaźników, kluczowych metryk i testów regresyjnych opartych na ryzyku, aby wspierać decyzje dotyczące wydania.
• Integracja ewaluacji w CI/CD, obserwowalności i przepływy pracy inżynieryjnej z możliwością śledzenia przez zbiory danych, podpowiedzi, modele i metryki.
• Produkcja zwięzłych, audytowalnych ustaleń, które wyjaśniają pewność, niepewność, wpływ na klienta i pozostałe ryzyko.
• Współpraca z interesariuszami produktu, inżynierii, architektury, danych, ryzyka, zgodności i jakości, aby wpływać na decyzje dotyczące dostarczania i wydania.
• Coaching i prowadzenie inżynierów jakości AI, planowanie pracy zespołu, przeglądanie wyników i budowanie kultury współpracy opartej na konstruktywnej krytyce i nauce.

Co nas interesuje:

• Kilka lat odpowiedniego doświadczenia zawodowego w inżynierii jakości, testowaniu oprogramowania, inżynierii oprogramowania, nauce o danych lub pokrewnej dziedzinie technicznej.
• Praktyczne umiejętności w Pythonie oraz doświadczenie z API, logami, śladami, zorganizowanymi zbiorami danych i SQL lub podobną analizą.
• Umiejętność projektowania powtarzalnych ewaluacji i automatyzacji, a nie tylko testów manualnych lub ocen dostawców.
• Dobre zrozumienie próbkowania, progów, trendów i zachowań systemów niedeterministycznych.
• Doświadczenie w testowaniu automatycznym, kontroli wersji, CI/CD i praktykach inżynieryjnych zapewniających utrzymanie.
• Umiejętność przekształcania ustaleń technicznych w dowody jakościowe dla interesariuszy biznesowych, ryzyka i inżynierii.
• Doświadczenie w coachingu lub prowadzeniu inżynierów w rozwijającej się lub niejednoznacznej dziedzinie.
• Silne umiejętności komunikacyjne i wpływowe, z pewnością do kwestionowania słabych dowodów.

Miło widziane:

• Doświadczenie w prowadzeniu projektów, koordynowaniu technicznych strumieni roboczych lub zarządzaniu ludźmi.
• Doświadczenie z narzędziami do ewaluacji AI lub obserwowalności, takimi jak DeepEval, Arize lub podobnymi platformami.
• Doświadczenie w projektowaniu wspólnych frameworków, usług wielokrotnego użytku lub możliwości platformy.
• Znajomość odpowiedzialnego AI, ryzyka modelu, kontroli, prywatności lub wymagań dotyczących wyników klientów.
• Doświadczenie w usługach finansowych, ubezpieczeniach lub innej regulowanej branży.
• Ekspozycja na systemy AI w chmurze, obserwowalność i wsparcie produkcyjne.

W Centrum Doskonałości Usług Aviva oferujemy:

• Umowę o pracę
• Premię za wyniki
• Prywatną opiekę medyczną (ENEL-MED)
• System benefitów (np. karta MultiSport)
• Dodatkowe przywileje rodzicielskie: urlop dla drugiego rodzica - 6 tygodni urlopu, skrócony czas pracy po urlopie rodzicielskim
• Finansowane przez pracodawcę ubezpieczenie grupowe
• Program akcji pracowniczych
• Dodatkowy dzień wolny na urodziny
• Płatny czas wolny na wolontariat
• Dodatkowy urlop nabywany przez lata w firmie (nawet 5 dni więcej w roku)
• Urlop zdrowotny - dodatkowe dwa tygodnie płatnego urlopu po 10 latach pracy
• Konsultacje wsparcia psychologicznego
• Dostęp do platform e-learningowych
• Wewnętrzny program poleceń pracowniczych
• Model pracy hybrydowej z Polski z kilkoma dniami w biurze w Warszawie miesięcznie
• Atrakcyjna lokalizacja biura w Warszawie - Gdański Business Center
• Dodatkowe uprawnienia dla osób z niepełnosprawnościami - Praca Bez Barier
• Środowisko pracy promujące różnorodność - Karta Różnorodności

Jako sygnatariusz Karty Różnorodności, Aviva stosuje politykę równego traktowania i tworzy środowisko pracy przyjazne osobom z niepełnosprawnościami.