AI Test Strategy Expert / Ekspert / Ekspertka ds. Strategii Testowania AI in Warsaw

AI Test Strategy Expert / Ekspert / Ekspertka ds. Strategii Testowania AI

Cześć, miło nam, że tu jesteś! Jesteśmy IThouse i od ponad 7 lat łączymy specjalistów IT z projektami, które naprawdę mają znaczenie i zmieniają sposób, w jaki Polacy korzystają z technologii na co dzień. To nie jest utarty zwrot! Współpracujemy z instytucjami publicznymi i firmami komercyjnymi, pomagając modernizować systemy, z których korzystają miliony osób. Dzięki zespołom, które budujemy, coraz mniej spraw wymaga biegania z kwitkami po urzędach, a procesy stają się prostsze, szybsze i bardziej dostępne. Ale to nie wszystko! Realizujemy też ambitne projekty R&D, m.in. dla Samsunga, gdzie technologia spotyka się ze sztuczną inteligencją i innowacją. Staramy się dopasować projekt do osoby: do doświadczenia, preferencji i tego, co naprawdę ją motywuje. Jeśli czujesz, że chcesz robić sensowne rzeczy i mieć realny wpływ, jest spora szansa, że to może być to! W naszym procesie stawiamy na partnerskie relacje, transparentność i wzajemny szacunek. Rekrutacja to dla nas nie tylko proces, to rozmowa o tym, co dla Ciebie ważne i gdzie możesz się rozwinąć. Poszukujemy

AI Test Strategy Expert / Eksperta / Ekspertki ds. Strategii Testowania AI , który/-a dołączy do dodatkowego projektu realizowanego dla jednego z naszych klientów z sektora publicznego. Współpraca zakłada zaangażowanie w niepełnym wymiarze godzin z elastycznym czasem pracy. Przedmiotem współpracy będzie opracowanie kompleksowego standardu testowania i oceny oprogramowania wykorzystującego sztuczną inteligencję. Celem projektu jest stworzenie praktycznej metodyki, która pozwoli w uporządkowany i mierzalny sposób oceniać jakość, bezpieczeństwo, niezawodność oraz poziom ryzyka rozwiązań opartych na AI. Zakres obejmuje różne technologie, m.in. generatywną AI (LLM/RAG), uczenie maszynowe (ML), inteligentne przetwarzanie dokumentów (OCR/IDP), technologie mowy oraz gotowe produkty i usługi wykorzystujące AI. Szukamy samodzielnego eksperta, który potrafi połączyć wiedzę z zakresu zapewnienia jakości oprogramowania z praktycznym rozumieniem technologii AI, a następnie przełożyć ją na konkretne standardy, procedury, scenariusze testowe i dokumentację. Na to stanowisko wymagane jest:

Minimum 5 lat doświadczenia w obszarze testowania oprogramowania, zapewnienia jakości (QA), projektowania strategii testowych lub architektury jakości. Doświadczenie w samodzielnym opracowywaniu strategii, standardów lub metodyk testowania oprogramowania. Praktyczna znajomość specyfiki testowania rozwiązań wykorzystujących sztuczną inteligencję, w szczególności LLM, RAG lub Machine Learning. Znajomość metod oceny jakości modeli AI, w tym definiowania metryk, kryteriów akceptacji i scenariuszy testowych. Umiejętność projektowania procesów testowych obejmujących planowanie, realizację, raportowanie, obsługę niezgodności i monitoring jakości. Znajomość zagadnień związanych z bezpieczeństwem, ochroną danych i oceną ryzyka systemów AI. Umiejętność tworzenia kompleksowej dokumentacji technicznej, procedur, standardów i rekomendacji. Umiejętność samodzielnej analizy zagadnień technicznych i przekładania ich na praktyczne rozwiązania organizacyjne. Mile widziane:

Doświadczenie w opracowywaniu standardów lub metodyk dla dużych organizacji, szczególnie z sektora publicznego. Znajomość regulacji i standardów dotyczących sztucznej inteligencji, np. AI Act, RODO, ISO/IEC 42001, ISO/IEC 23894. Znajomość zagadnień związanych z AI Governance i zarządzaniem ryzykiem systemów AI. Doświadczenie w testowaniu systemów OCR/IDP, rozpoznawania i przetwarzania mowy. Znajomość narzędzi wspierających ewaluację i testowanie rozwiązań AI/LLM. Certyfikaty z obszaru ISTQB, AI, QA lub zarządzania ryzyka. Doświadczenie w prowadzeniu warsztatów, konsultacji lub doradztwa eksperckiego. A tym będziesz zajmować się na co dzień:

Analizą regulacji, norm, standardów i dobrych praktyk dotyczących testowania oraz oceny jakości oprogramowania wykorzystującego AI. Opracowaniem kompleksowej metodyki testowania rozwiązań AI, uwzględniającej ich rodzaj, przeznaczenie i poziom ryzyka. Przygotowaniem zasad testowania dla różnych kategorii technologii: LLM/RAG, Machine Learning, OCR/IDP, technologii mowy oraz gotowych produktów i usług AI. Definiowaniem metod testowania, metryk jakościowych i mierzalnych kryteriów akceptacji. Opracowaniem przykładowych scenariuszy testowych oraz zasad przygotowywania danych i środowisk testowych. Przygotowaniem zasad dokumentowania wyników testów, raportowania niezgodności i oceny gotowości rozwiązań do wdrożenia. Opracowaniem zasad monitorowania jakości rozwiązań AI po wdrożeniu, w tym testów regresyjnych i oceny wpływu zmian. Przygotowaniem praktycznych wzorów dokumentacji, checklist, kart testowych, raportów i rejestrów niezgodności. Opracowaniem rekomendacji dotyczących organizacji procesu testowania i podziału odpowiedzialności. Współpracę przy dodatkowym zleceniu doradczo-eksperckim. Elastyczny czas

pracy na

niepełny wymiar godzin. Zatrudnienie na podstawie umowy B2B. Pracę w modelu 100% zdalnie.