AI Quality Engineering Team Lead in Warsaw

W naszej Aviva Services Excellence Centre poszukujemy AI Quality Engineering Team Lead, który pomoże w ustanowieniu wiarygodnego i skalowalnego inżynierii jakości dla rozwiązań GenAI i agentowych AI w Aviva. Będziesz łączyć praktyczną ocenę z przywództwem zespołu, pomagając interesariuszom zrozumieć, czy rozwiązania AI są dokładne, bezpieczne, niezawodne i gotowe do wydania. To rola dla kogoś, kto potrafi połączyć ryzyko biznesowe z zestawami danych, zachowaniem AI, metrykami oceny i kontrolami inżynieryjnymi. Będziesz kształtować powtarzalne praktyki jakości, kwestionować słabe dowody i prowadzić inżynierów w produkcji jasnych, audytowalnych wyników.

Co będziesz robić?

• Prowadzenie podejścia inżynierii jakości dla rozwiązań AI, od oceny ryzyka po wydanie i monitorowanie.
• Ocena zachowania AI wieloetapowego, RAG i agentowego, w tym podstaw, zabezpieczeń i użycia narzędzi.
• Budowanie reprezentatywnych zestawów danych i ocena pokrycia, równowagi, wycieku, jakości etykiet i świeżości.
• Ocena poprawności, istotności, halucynacji, bezpieczeństwa, stronniczości, prywatności i dryfu behawioralnego.
• Badanie nieoczekiwanych wyników w danych, podpowiedziach, modelach, integracji, orkiestracji i ewaluatorach.
• Budowanie powtarzalnych komponentów oceny, zautomatyzowanych pipeline'ów testowych, raportowania i wzorców generowania dowodów dla wielu produktów AI.
• Łączenie metod testowych i walidacja zautomatyzowanych ewaluatorów w porównaniu do osądów ludzkich.
• Używanie bazowych, kluczowych metryk i testów regresyjnych opartych na ryzyku, aby wspierać decyzje o wydaniu.
• Integracja oceny w CI/CD, obserwowalności i przepływy pracy inżynieryjnej z możliwością śledzenia przez zestawy danych, podpowiedzi, modele i metryki.
• Produkcja zwięzłych, audytowalnych wyników, które wyjaśniają pewność, niepewność, wpływ na klienta i pozostałe ryzyko.
• Współpraca z interesariuszami produktu, inżynierii, architektury, danych, ryzyka, zgodności i jakości, aby wpływać na decyzje dotyczące dostarczania i wydania.
• Coaching i prowadzenie inżynierów jakości AI, planowanie pracy zespołowej, przeglądanie wyników i budowanie kultury współpracy, konstruktywnego wyzwania i nauki.

Czego szukamy?

• Kilkuletnie doświadczenie zawodowe w inżynierii jakości, testowaniu oprogramowania, inżynierii oprogramowania, nauce o danych lub pokrewnej dziedzinie technicznej.
• Praktyczne doświadczenie w ocenie AI, dużych modeli językowych, RAG lub aplikacji opartych na agentach.
• Umiejętności programowania w Pythonie oraz doświadczenie z API, logami, śladami, uporządkowanymi zestawami danych i SQL lub podobnymi analizami.
• Umiejętność projektowania powtarzalnych ocen i automatyzacji, a nie tylko testów manualnych lub oceniania dostawców.
• Dobre zrozumienie próbkowania, progów, trendów i zachowania systemów niedeterministycznych.
• Doświadczenie w testowaniu automatycznym, kontroli wersji, CI/CD i utrzymywalnych praktykach inżynieryjnych.
• Umiejętność przekształcania wyników technicznych w dowody jakościowe dla interesariuszy biznesowych, ryzyka i inżynierii.
• Doświadczenie w coachingu lub prowadzeniu inżynierów w rozwijającej się lub niejednoznacznej dziedzinie.
• Silne umiejętności komunikacyjne i wpływowe, z pewnością do kwestionowania słabych dowodów.

Miło widziane:

• Doświadczenie w prowadzeniu projektów, koordynowaniu technicznych strumieni roboczych lub zarządzaniu ludźmi.
• Doświadczenie z narzędziami do oceny AI lub obserwowalności, takimi jak DeepEval, Arize lub podobnymi platformami.
• Doświadczenie w projektowaniu wspólnych frameworków, powtarzalnych usług lub możliwości platformy.
• Znajomość odpowiedzialnego AI, ryzyka modelu, kontroli, prywatności lub wymagań dotyczących wyników klientów.
• Doświadczenie w usługach finansowych, ubezpieczeniach lub innej regulowanej branży.
• Ekspozycja na systemy AI w chmurze, obserwowalność i wsparcie produkcyjne.

W Aviva Services Excellence Centre oferujemy:

• Umowę o pracę
• Premię za wyniki
• Prywatną opiekę medyczną (ENEL-MED)
• System benefitów (np. karta MultiSport)
• Dodatkowe przywileje rodzicielskie:
• - urlop dla drugiego rodzica – 6 tygodni urlopu
• - skrócony czas pracy po urlopie rodzicielskim
• Ubezpieczenie grupowe finansowane przez pracodawcę
• Program akcji pracowniczych
• Dodatkowy dzień wolny na urodziny
• Płatny czas wolny na wolontariat
• Dodatkowy urlop nabyty przez lata w firmie (nawet 5 dni więcej w roku)
• Urlop zdrowotny - dodatkowe dwa tygodnie płatnego urlopu po 10 latach pracy
• Konsultacje wsparcia psychologicznego
• Dostęp do platform e-learningowych
• Wewnętrzny program poleceń pracowniczych
• Model pracy hybrydowej z Polski z kilkoma dniami w biurze w Warszawie miesięcznie
• Atrakcyjna lokalizacja biura w Warszawie - Gdański Business Center
• Dodatkowe uprawnienia dla osób z niepełnosprawnościami - Praca Bez Barier
• Środowisko pracy promujące różnorodność - Karta Różnorodności

Czy widzisz siebie w Aviva Services Excellence Centre? Koniecznie aplikuj!

Aviva jest dla wszystkich!

Zostaliśmy uznani za #1 Najlepsze Miejsce Pracy w Polsce po raz drugi z rzędu oraz najlepszy wybór dla Millenialsów według Great Place to Work!

Jako sygnatariusz Karty Różnorodności, Aviva stosuje politykę równego traktowania i tworzy środowisko pracy przyjazne osobom z niepełnosprawnościami. Nie wymagamy od kandydatów daty urodzenia, stanu cywilnego ani załączonych zdjęć do CV. Zachęcamy wszystkie osoby, niezależnie od płci, do aplikowania.

Większość naszych pracowników pracuje w trybie smart working – spędzając również czas w naszym biurze - łącząc korzyści elastyczności z czasem spędzonym z kolegami.

Jesteśmy otwarci - zapraszamy do aplikowania osoby z różnorodnym tłem i doświadczeniem.

Ekscytujący, ale nie jesteś pewien, czy spełniasz wszystkie wymagania? Badania pokazują, że kobiety, szczególnie, czują się w ten sposób. Dlatego, niezależnie od płci, dlaczego nie aplikować i spróbować!