Senior AI Product Analyst in Warsaw

MEDvidi jest platformą opartą na sztucznej inteligencji, która zapewnia opiekę zdrowotną w zakresie zdrowia psychicznego, ustanawiając nowy standard bezpiecznej, skutecznej i skalowalnej opieki psychiatrycznej w Stanach Zjednoczonych. Łączymy licencjonowanych dostawców z własnymi narzędziami AI, aby dostarczać spójną, ukierunkowaną na wyniki terapię dla takich schorzeń jak ADHD, lęk, depresja i inne.

Zespół AI Receptionist w MEDvidi buduje i ulepsza Voice AI Agents, które bezpośrednio komunikują się z pacjentami i automatyzują kluczowe elementy podróży pacjenta. Te systemy obsługują rzeczywiste rozmowy, wspierają operacyjne przepływy pracy i pomagają pacjentom w bardziej efektywnym poruszaniu się po opiece.

Poszukujemy AI Product Analyst, który pomoże nam ocenić, monitorować i poprawiać systemy Voice AI działające na dużą skalę. Będziesz pracować na styku Produktu, Inżynierii, Operacji i AI, pomagając zespołowi zrozumieć, jak AI zachowuje się w rzeczywistym świecie, gdzie tworzy wartość, gdzie zawodzi i co powinno być poprawione w następnej kolejności.

Dlaczego ta rola:

• Pracuj nad jednym z najbardziej widocznych produktów AI w MEDvidi.
• Pomóż kształtować przyszłość Voice AI w opiece zdrowotnej.
• Wpływaj na decyzje produktowe, korzystając z rzeczywistych dowodów produkcyjnych.
• Wysoka odpowiedzialność w szybko rozwijającej się, zorientowanej na produkt firmie technologicznej w medycynie.

Obowiązki:

• Analiza zachowania produkcyjnego Voice AI Agents i przepływów pracy AI w rozmowach.
• Badanie halucynacji, niespójności, cichych awarii i degradacji jakości w rozmowach napędzanych przez AI.
• Bezpośrednia praca z transkryptami rozmów, dziennikami, generowanymi wynikami i zestawami danych operacyjnych w celu odkrywania wzorców i użytecznych informacji.
• Projektowanie ram oceny do pomiaru jakości AI, niezawodności i wpływu na biznes.
• Budowanie systemów monitorowania i pulpitów nawigacyjnych dla widoczności wydajności AI.
• Mierzenie wpływu systemów AI na efektywność operacyjną, wyniki biznesowe i doświadczenia pacjentów.
• Wykrywanie zmian jakości, anomalii i pojawiających się trybów awarii w środowiskach produkcyjnych.
• Ścisła współpraca z zespołami Produktu, Inżynierii, QA i Operacji w ramach inicjatyw AI.
• Wsparcie szybkiego podejmowania decyzji w szybko zmieniających się i niejednoznacznych środowiskach.

Ta rola nie jest dla Ciebie, jeśli:

• Preferujesz pracę tylko z uporządkowanymi zestawami danych i zdefiniowanymi metrykami.
• Nie czujesz się komfortowo analizując surowe rozmowy, transkrypty i wyniki generowane przez AI.
• Oczekujesz jasno zdefiniowanych odpowiedzi zamiast badania niejednoznacznych problemów.
• Nie interesuje Cię zrozumienie, jak systemy AI zawodzą w produkcji.

Wymagania:

• 5+ lat doświadczenia w analizie produktu, analizie danych, analizie operacyjnej lub rolach analitycznych w złożonych systemach produkcyjnych.
• Silne umiejętności SQL.
• Python do analiz i pracy z dużymi zbiorami danych tekstowych.
• Doświadczenie w pracy z pipeline'ami ML lub produktami opartymi na AI.
• Zrozumienie ograniczeń LLM, halucynacji, wyzwań oceny, wrażliwości na podpowiedzi i trybów awarii AI.
• Doświadczenie w budowaniu systemów monitorowania, ram analitycznych lub pulpitów nawigacyjnych operacyjnych.
• Silne umiejętności komunikacyjne i zdolność do przekładania analiz na decyzje produktowe.
• Umiejętność efektywnej pracy w niejednoznacznych i szybko zmieniających się środowiskach.
• Znajomość języka rosyjskiego; poziom angielskiego B2 lub wyższy.
• Możliwość pracy w godzinach pokrywających się z CET.

Byłoby dodatkowym atutem:

• Doświadczenie z konwersacyjnym AI lub agentami AI.
• Doświadczenie w ocenie wyników LLM.
• Doświadczenie z metrykami jakości AI i metodologiami oceny.
• Doświadczenie z iteracją podpowiedzi i ramami oceny AI.

Co oferujemy:

• Środowisko o wysokim wpływie: Szansa na wpływanie na to, jak AI jest wykorzystywane w rzeczywistych interakcjach z pacjentami.
• Rozwój i wynagrodzenie: Konkurencyjne wynagrodzenie i jasne możliwości rozwoju.
• Praca zdalna: W pełni zdalna, długoterminowa współpraca B2B.
• Zdrowie i dobre samopoczucie: Ubezpieczenie zdrowotne po okresie próbnym, a także rekompensata za sport i wellness.
• Rozwój kariery: Rozwój kariery, w tym spersonalizowane lekcje angielskiego przez Preply.
• Czas wolny: 19 dni roboczych urlopu rocznie, 4 dodatkowe dni wellness oraz płatny urlop chorobowy przez pierwsze 5 dni roboczych.
• Kultura: Przemyślane prezenty na ważne wydarzenia życiowe.

MEDvidi jest pracodawcą oferującym równe szanse. Świętujemy różnorodność i zobowiązujemy się do stworzenia inkluzywnego środowiska dla wszystkich pracowników i kontrahentów. Wszyscy kwalifikowani kandydaci otrzymają rozpatrzenie bez względu na rasę, kolor skóry, religię, płeć, orientację seksualną, tożsamość płciową, pochodzenie narodowe, niepełnosprawność lub status weterana.