AI Quality Engineering Team Lead in Warsaw

Witamy! Szukamy AI Quality Engineering Team Lead, który pomoże w ustanowieniu zaufanego i skalowalnego inżynierii jakości dla rozwiązań GenAI i agentycznych AI w Aviva. Będziesz łączyć praktyczną ocenę z przywództwem zespołu, pomagając interesariuszom zrozumieć, czy rozwiązania AI są dokładne, bezpieczne, niezawodne i gotowe do wydania.

Co będziesz robić?

• Przewodzenie podejściu inżynierii jakości dla rozwiązań AI, od oceny ryzyka po wydanie i monitorowanie.
• Ocena zachowań AI, w tym grounding, guardrails i użycie narzędzi.
• Budowanie reprezentatywnych zbiorów danych oraz ocena pokrycia, równowagi, wycieków, jakości etykiet i świeżości.
• Ocena poprawności, trafności, halucynacji, bezpieczeństwa, stronniczości, prywatności i dryfu behawioralnego.
• Badanie nieoczekiwanych wyników w danych, podpowiedziach, modelach, integracji i ewaluatorach.
• Budowanie komponentów oceny, zautomatyzowanych pipeline'ów testowych, raportowania i wzorców generowania dowodów dla wielu produktów AI.
• Łączenie metod testowych i walidacja zautomatyzowanych ewaluatorów w porównaniu do osądów ludzkich.
• Używanie bazowych, kluczowych metryk i testów regresyjnych opartych na ryzyku do wspierania decyzji o wydaniu.
• Integracja oceny w CI/CD, obserwowalności i przepływy pracy inżynieryjnej z możliwością śledzenia przez zbiory danych, podpowiedzi, modele i metryki.
• Produkcja zwięzłych, audytowalnych wyników, które wyjaśniają pewność, niepewność, wpływ na klienta i pozostałe ryzyko.
• Współpraca z interesariuszami produktu, inżynierii, architektury, danych, ryzyka, zgodności i jakości w celu wpływania na decyzje dotyczące dostarczania i wydania.
• Coaching i prowadzenie inżynierów jakości AI, planowanie pracy zespołu, przeglądanie wyników i budowanie kultury współpracy oraz konstruktywnego wyzwania i nauki.

Czego szukamy:

• Kilkuletnie doświadczenie zawodowe w inżynierii jakości, testowaniu oprogramowania, inżynierii oprogramowania, nauce o danych lub pokrewnej dziedzinie technicznej.
• Praktyczne umiejętności w Pythonie oraz doświadczenie z API, logami, śladami, zorganizowanymi zbiorami danych i SQL lub podobnymi analizami.
• Umiejętność projektowania powtarzalnych ocen i automatyzacji, a nie tylko testów manualnych lub oceny dostawców.
• Dobre zrozumienie próbkowania, progów, trendów i zachowań systemów niedeterministycznych.
• Doświadczenie w testowaniu automatycznym, kontroli wersji, CI/CD i utrzymywalnych praktykach inżynieryjnych.
• Umiejętność przekształcania wyników technicznych w dowody jakościowe dla interesariuszy biznesowych, ryzyka i inżynierii.
• Doświadczenie w coachingu lub prowadzeniu inżynierów w rozwijającej się lub niejednoznacznej dziedzinie.
• Silne umiejętności komunikacyjne i wpływowe, z pewnością do kwestionowania słabych dowodów.

Miło widziane:

• Doświadczenie w prowadzeniu projektów, koordynowaniu technicznych strumieni roboczych lub zarządzaniu ludźmi.
• Doświadczenie z narzędziami do oceny AI lub obserwowalności, takimi jak DeepEval, Arize lub podobnymi platformami.
• Doświadczenie w projektowaniu wspólnych frameworków, usług wielokrotnego użytku lub możliwości platformy.
• Znajomość odpowiedzialnego AI, ryzyka modelu, kontroli, prywatności lub wymagań dotyczących wyników klientów.
• Doświadczenie w usługach finansowych, ubezpieczeniach lub innej regulowanej branży.
• Ekspozycja na systemy AI w chmurze, obserwowalność i wsparcie produkcyjne.

W Aviva Services Excellence Centre oferujemy:

• Umowę o pracę
• Premię za wyniki
• Prywatną opiekę medyczną (ENEL-MED)
• System benefitów (np. karta MultiSport)
• Dodatkowe przywileje rodzicielskie:
• Urlop dla drugiego rodzica – 6 tygodni urlopu
• Skrócony czas pracy po urlopie rodzicielskim
• Ubezpieczenie grupowe finansowane przez pracodawcę
• Program akcji pracowniczych
• Dodatkowy dzień wolny na urodziny
• Płatny czas wolny na wolontariat
• Dodatkowy urlop nabyty przez lata w firmie (nawet 5 dni więcej w roku)
• Urlop zdrowotny - dodatkowe dwa tygodnie płatnego urlopu po 10 latach pracy
• Konsultacje wsparcia psychologicznego
• Dostęp do platform e-learningowych
• Wewnętrzny program poleceń pracowniczych
• Model pracy hybrydowej z Polski z kilkoma dniami w biurze w Warszawie miesięcznie
• Atrakcyjna lokalizacja biura w Warszawie - Gdański Business Center
• Dodatkowe uprawnienia dla osób z niepełnosprawnościami - Praca Bez Barier
• Środowisko pracy promujące różnorodność - Karta Różnorodności

Czy widzisz siebie w Aviva Services Excellence Centre? Aviva jest dla każdego!

Jesteśmy numerem 1 w rankingu Najlepsze Miejsca Pracy w Polsce drugi rok z rzędu i najlepszym wyborem dla Millenialsów według Great Place to Work!

Jako sygnatariusz Karty Różnorodności, Aviva stosuje politykę równego traktowania i tworzy środowisko pracy przyjazne osobom z niepełnosprawnościami. Nie wymagamy od kandydatów daty urodzenia, stanu cywilnego ani załączonych zdjęć do CV. Zachęcamy wszystkie osoby, niezależnie od płci, do aplikowania.

Większość naszych pracowników pracuje w trybie smart working – spędzając również czas w naszym biurze - łącząc korzyści elastyczności z czasem spędzonym z kolegami.

Jesteśmy otwarci - zapraszamy do aplikowania osoby z różnych środowisk i doświadczeń.

Ekscytujący, ale nie jesteś pewien, czy spełniasz wszystkie wymagania? Badania pokazują, że kobiety, szczególnie, czują się w ten sposób. Dlatego, niezależnie od płci, dlaczego nie aplikować i spróbować!

Aby dowiedzieć się więcej o aktualnych ofertach pracy w Aviva, zajrzyj tutaj.