AI Quality & Evaluation Lead in Katowice

O Samsung Food (Whisk) jest pionierem przyszłości codziennej opieki i zdrowia, pomagając osobom i rodzinom na całym świecie żyć lepiej dzięki połączonym, proaktywnym i spersonalizowanym doświadczeniom. Nasza misja to połączenie jedzenia, zdrowia i domu w ekosystemie Samsunga, przekształcając dane z Twoich urządzeń w spersonalizowane wskazówki wspierające Ciebie i Twoich bliskich.

Pracujemy na styku AI, żywienia, zmiany zachowań i zdrowia cyfrowego. Aplikacja Samsung Food została uwzględniona na liście Google Play „Najlepsze z 2020 roku” oraz regularnie prezentowana w App Store Apple. Wprowadziliśmy również Vision AI, który rozpoznaje jedzenie i posiłki przy użyciu naszego globalnego Food Genome oraz opracowaliśmy głębokie integracje z Samsung Health i SmartThings.

Jesteśmy zespołem zdalnym liczącym ponad 100 osób w ponad 30 krajach, zjednoczonym przez nasze zaangażowanie w innowacje i wpływ. Jako część Samsung Electronics łączymy zwinność startupu z rozmiarem największej na świecie firmy zajmującej się elektroniką użytkową.

Budujemy doświadczenie coachingowe AI wewnątrz Samsung Health. Każdy element coachingu, który widzi użytkownik, jest generowany, a nie pisany. Nasz partner platformowy odpowiada za uruchomienie oceny i funkcjonalne oceny. Nikt nie odpowiada za warstwę powyżej: czy wynik jest rzeczywiście dobry — odpowiednie ujęcie, odpowiedni ton, odpowiednia struktura, czy dostarcza logikę coachingu, czy wydaje się, że rozmawia ze mną.

To zaangażowanie ma na celu zbudowanie tej warstwy: autorstwo taksonomii błędów, zakodowanie jej w binarnym rubryce, walidacja sędziego LLM w porównaniu do własnych ocen ludzkich i przekazanie całości wewnętrznemu właścicielowi. Mamy rubrykę v0.1 i złote scenariusze od naszego lidera produktu oraz funkcjonalną rubrykę będącą w gestii inżynierii. Nie mamy rubryki doświadczenia — to jest to, co produkuje to zaangażowanie.

Wyniki według fazy (Cały projekt ~13 tygodni)

• Taksonomia błędów i zestaw złotych (w ciągu 4 tygodni od daty rozpoczęcia umowy): Co najmniej 150 śladów ręcznie ocenionych z otwartymi notatkami. Co najmniej 40 z nich pochodzi z syntetycznych profili o rzadkich danych. Taksonomia ma 5–10 kategorii, każda z liczbą wystąpień, a trzy najważniejsze błędy są pokazane z ich udziałem we wszystkich błędach. Saturacja jest udokumentowana: ostatnie 20 śladów nie wytworzyło nowej kategorii. Co najmniej 50 śladów jest zamrożonych jako holdout. Szef Produktu zatwierdza taksonomię.
• Rubryka v1 i kalibracja (w ciągu 4 tygodni od zakończenia fazy 1): Jeden binarny kryterium pass/fail dla każdej kategorii taksonomii, każda z definicją, przykładem przejścia i przykładem niepowodzenia. Pisemne wytyczne dotyczące adnotacji. Co najmniej 30 śladów jest podwójnie kodowanych przez drugiego oceniającego, a każde nieporozumienie jest rejestrowane i rozwiązywane na piśmie. Dziennik rewizji wytycznych rejestruje każdą zmianę i jej powód. Szef Produktu zatwierdza rubrykę.
• Walidowany sędzia i cotygodniowe raporty (w ciągu 4 tygodni od zakończenia fazy 2): Podpowiedzi sędziego dla każdego kryterium. Raport walidacyjny podający wskaźnik prawdziwych pozytywów i prawdziwych negatywów dla każdego kryterium zarówno na zestawie deweloperskim, jak i holdout. Cotygodniowy raport na temat pomocności, trafności i tonu, przeprowadzony co najmniej dwa razy: raz przez konsultanta, a raz przez wewnętrznego właściciela z konsultantem w tle. Udokumentowana rutyna rewalidacji, uruchamiana przy każdej zmianie modelu lub podpowiedzi i przeprowadzana kwartalnie niezależnie od tego.
• Podręcznik i test przekazania (w ciągu 1 tygodnia od zakończenia fazy 3): Pisemny podręcznik obejmujący całą metodę: ocenianie, aktualizowanie taksonomii, rewizja rubryki, rewalidacja sędziego i przeprowadzanie raportu. Test przekazania zdaje się, gdy wewnętrzny właściciel ponownie przeprowadza walidację sędziego bez pomocy, uzyskuje wynik w granicach ±5 punktów i przeprowadza jeden cotygodniowy raport bez udziału konsultanta.

Co to nie jest rola

• Nie budowanie infrastruktury oceny, harnessów ani pulpitów (właściciele gdzie indziej)
• Nie funkcjonalne/ modułowe oceny ani metryki dokładności
• Nie walidacja bezpieczeństwa klinicznego
• Nie wysokowolumenowa adnotacja — ocenianie kilku setek śladów w celu zbudowania taksonomii; prace wolumenowe trafiają do dostawców/sędziego po utworzeniu rubryki

Czego szukamy

Musisz przeprowadzić tę pętlę od początku do końca przynajmniej raz na podstawie konwersacyjnych lub generowanych tekstów: analiza błędów na rzeczywistych śladach → taksonomia błędów, którą sam stworzyłeś → kryteria binarne i wytyczne dotyczące adnotacji → sędzia LLM zwalidowany w porównaniu do własnych etykiet.

Tło: projektowanie rozmów, jakość produktów AI, zachowanie modeli/polityka, projektowanie treści, operacje danych ludzkich, badania UX z silnym kodowaniem jakościowym lub RLHF. Również tła w zakresie lingwistyki stosowanej i zarządzania produktami pasują.

Będziesz silny w tej roli, jeśli:

• Potrafisz opisać tryb błędu, który osobiście odkryłeś, czytając wyniki — jeden, którego nikt wcześniej nie nazwał
• Jesteś komfortowy w byciu arbitrem i dokumentowaniem tego, co odrzuciłeś i dlaczego
• Rozumiesz, że rubryka jest odkrywana poprzez ocenianie, a nie pisana z góry
• Potrafisz wyjaśnić, dlaczego sędzia, który zgadza się z Tobą w 94% przypadków, może być nadal bezużyteczny
• Piszesz wytyczne dotyczące adnotacji, które nie wymagają interpretacji
• Jesteś komfortowy w pracy w notatnikach i arkuszach kalkulacyjnych (nie jest wymagany kod produkcyjny)

Nie jest wymagane: wiedza specjalistyczna w dziedzinie żywienia, zarządzania wagą ani zmiany zachowań — mamy to w firmie.