AI Quality Engineer in Katowice

Witamy! Szukamy AI Quality Engineer do naszego Centrum Doskonałości Aviva Services Excellence Centre (ASEC), aby pomóc w budowaniu zaufania do jakości, bezpieczeństwa i niezawodności produktów opartych na AI. To praktyczna rola dla kogoś, kto lubi rozumieć, jak zachowują się systemy AI, identyfikować słabości zanim staną się problemami dla klientów oraz tworzyć wiarygodne sposoby mierzenia, czy rozwiązania AI rzeczywiście dostarczają zamierzone wyniki.

Co będziesz robić?

• Przekładanie oczekiwań biznesowych, wyników użytkowników i ryzyk operacyjnych na mierzalne kryteria oceny.
• Definiowanie, jak wygląda zachowanie systemu w przypadku sukcesu, częściowego sukcesu i niepowodzenia.
• Projektowanie podejść oceniających dla systemów AI, w tym konwersacyjnych, wieloetapowych i niedeterministycznych.
• Budowanie i utrzymywanie reprezentatywnych zbiorów danych do oceny obejmujących scenariusze powszechne, rzadkie, graniczne i wysokiego ryzyka.
• Ocena jakości zbiorów danych, w tym pokrycia, równowagi klas, duplikatów, wycieków danych, jakości etykiet i świeżości zbiorów danych.
• Wybór odpowiednich metod oceny manualnej, deterministycznej, opartej na modelach i statystycznej.
• Analiza błędów według kategorii, ścieżki użytkownika, poziomu ryzyka i prawdopodobnej przyczyny źródłowej.
• Rozróżnianie awarii modeli od awarii w pobieraniu, segmentacji, rankingach, podpowiedziach, narzędziach, zabezpieczeniach, integracjach, danych źródłowych i oceniających.
• Walidacja automatycznych oceniających, w tym LLM-as-a-Judge, w porównaniu do osądów ludzkich.
• Wykrywanie martwych punktów, szumów, uprzedzeń i mylącej agregacji w wynikach oceny.
• Tworzenie bazowych porównań i testów regresyjnych, które umożliwiają znaczącą porównanie między wersjami systemu.
• Priorytetyzacja testów według prawdopodobieństwa i wpływu awarii, a nie tylko pokrycia.
• Komunikowanie wyników, niepewności, ograniczeń i pozostałych ryzyk w formie wspierającej decyzje dotyczące wydania i produktu.
• Proaktywne identyfikowanie pojawiających się trybów awarii na podstawie zmian w systemie, obserwacji produkcyjnych i badań.

Czego szukamy:

• Doświadczenie zawodowe w inżynierii jakości, testowaniu oprogramowania, automatyzacji testów, nauce danych, inżynierii oprogramowania lub pokrewnej dziedzinie.
• Doświadczenie lub silne zainteresowanie pracą z rozwiązaniami opartymi na AI.
• Dobra znajomość Pythona i doświadczenie w pisaniu czystego, łatwego do utrzymania kodu do analizy, automatyzacji lub testowania.
• Zainteresowanie zrozumieniem, jak zachowują się systemy AI oraz jak można mierzyć ich jakość.
• Silne umiejętności analityczne i rozwiązywania problemów.
• Umiejętność przekładania celów biznesowych, wyników klientów i ryzyk na praktyczne podejścia oceniające.
• Silne umiejętności komunikacyjne i zdolność do wyjaśniania wyników zarówno technicznym, jak i nietechnicznym interesariuszom.
• Ciekawy, proaktywny sposób myślenia i szczere zainteresowanie AI oraz nowymi technologiami.

Miło widziane:

• Doświadczenie w ocenie, testowaniu lub monitorowaniu systemów opartych na AI w środowiskach produkcyjnych.
• Praca z danymi strukturalnymi, zwłaszcza JSON, logami i tabelarycznymi wynikami oceny.
• Zrozumienie zachowania LLM, tokenizacji, limitów kontekstu, parametrów i niedeterministyczności.
• Zrozumienie kontekstu wieloetapowego, RAG, ugruntowania, wierności, halucynacji, zabezpieczeń i wywoływania narzędzi/funkcji.
• Praktyki inżynierii oprogramowania: Git, modularny kod, zarządzanie konfiguracją i testy automatyczne.

W Aviva Services Excellence Centre oferujemy:

• Umowę o pracę
• Premię za wyniki
• Prywatną opiekę medyczną (ENEL-MED)
• System benefitów (np. karta MultiSport)
• Dodatkowe przywileje rodzicielskie: urlop dla drugiego rodzica - 6 tygodni urlopu, skrócony czas pracy po urlopie rodzicielskim
• Ubezpieczenie grupowe finansowane przez pracodawcę
• Program akcji pracowniczych
• Dodatkowy dzień wolny na urodziny
• Płatny czas wolny na wolontariat
• Dodatkowy urlop nabywany przez lata w firmie (nawet 5 dni więcej w roku)
• Urlop zdrowotny - dodatkowe dwa tygodnie płatnego urlopu po 10 latach pracy
• Konsultacje wsparcia psychologicznego
• Dostęp do platform e-learningowych
• Wewnętrzny program poleceń pracowniczych
• Model pracy hybrydowej z Polski z kilkoma dniami w biurze w Warszawie miesięcznie
• Atrakcyjna lokalizacja biura w Warszawie - Gdański Business Center
• Dodatkowe uprawnienia dla osób z niepełnosprawnościami - Praca Bez Barier
• Środowisko pracy promujące różnorodność - Karta Różnorodności