QA Engineer in Kraków

Ascendix Technologies jest partnerem w dziedzinie technologii AI i nieruchomości z siedzibą w Dallas, Teksas, z biurami w Polsce, Portugalii i Ukrainie. Specjalizujemy się w rozwiązaniach AI, Salesforce i rozwoju oprogramowania na zamówienie, pomagając firmom usprawnić ich operacje dzięki innowacyjnej technologii. Szukamy doświadczonego inżyniera QA, który dołączy do naszego działu produktów i przejmie odpowiedzialność za zapewnienie jakości naszych produktów związanych z Salesforce, zaczynając od Ascendix AI Agent.

W tej roli będziesz pracować z małym, współpracującym zespołem, aby zapewnić niezawodność zarówno tradycyjnej funkcjonalności oprogramowania, jak i funkcji opartych na AI. Połączysz testowanie manualne, automatyzację testów oraz techniki oceny LLM, aby walidować odpowiedzi generowane przez AI, identyfikować potencjalne problemy i nieustannie poprawiać jakość produktu. Jeśli lubisz eksplorować technologie AI, krytycznie myśleć o złożonych scenariuszach i podejmować inicjatywę w kształtowaniu procesów QA, chcielibyśmy usłyszeć od Ciebie.

Wymagania:

• 5+ lat doświadczenia w zapewnieniu jakości oprogramowania;
• Praktyczne doświadczenie w testowaniu aplikacji zasilanych AI z wynikami niedeterministycznymi, takich jak produkty oparte na LLM, agenci AI lub chatboty;
• Praktyczne doświadczenie z technikami oceny LLM, w tym zestawami danych testowych, rubrykami ocen, podejściami LLM-as-judge i śledzeniem regresji;
• Doświadczenie w automatyzacji testów i utrzymywaniu zautomatyzowanych zestawów testowych;
• Solidne umiejętności testowania API przy użyciu Postman lub podobnych narzędzi;
• Silne umiejętności analityczne i krytycznego myślenia, z umiejętnością oceny nie tylko tego, czy odpowiedź generowana przez AI jest niepoprawna, ale także dlaczego;
• Proaktywne podejście do rozwiązywania problemów i chęć poprawy procesów QA;
• Dobre umiejętności komunikacyjne i współpracy, z umiejętnością efektywnej pracy w małym, rozproszonym zespole;
• Znajomość języka angielskiego na poziomie Upper-Intermediate (B2+) lub wyższym, zarówno w mowie, jak i piśmie.

Miło widziane:

• Doświadczenie z Playwright (TypeScript lub JavaScript);
• Doświadczenie w testowaniu Salesforce, w tym Lightning, zarządzanymi pakietami i zestawami uprawnień;
• Znajomość narzędzi oceny LLM, takich jak Promptfoo, DeepEval, Ragas lub Langfuse;
• Doświadczenie w korzystaniu z narzędzi wspomagających rozwój AI, takich jak Claude Code, Cursor lub podobne;
• Podstawowe umiejętności inżynierii promptów;
• Doświadczenie w pracy z systemami CRM lub danymi nieruchomości.

Obowiązki:

• Przejęcie odpowiedzialności za jakość produktu w naszych rozwiązaniach związanych z Salesforce, początkowo koncentrując się na Ascendix AI Agent;
• Wykonywanie testów funkcjonalnych, regresyjnych i eksploracyjnych zarówno dla funkcjonalności deterministycznych, jak i niedeterministycznych;
• Ocena odpowiedzi generowanych przez AI pod kątem dokładności, halucynacji i poprawnego wykonania działań;
• Projektowanie, utrzymywanie i poprawa zestawów danych oceny LLM, kryteriów oceniania i testów regresyjnych;
• Rozwój i utrzymanie zautomatyzowanych testów przy użyciu Playwright i nowoczesnych narzędzi wspomagających AI;
• Współpraca z programistami i analitykiem biznesowym w procesie rozwoju opartym na specyfikacjach, przeglądanie specyfikacji i definiowanie jasnych kryteriów akceptacji;
• Ustanawianie i nieustanne doskonalenie procesów QA, w tym utrzymywanie umiejętności agenta AI, zasad i dokumentacji workflow w plikach Markdown;
• Badanie i reprodukcja problemów zgłaszanych przez klientów, dostarczając jasne i wykonalne raporty błędów;
• Proaktywne identyfikowanie ryzyk jakościowych i sugerowanie ulepszeń w niezawodności produktu i praktykach testowania.

Ascendix oferuje:

• Opiekę zdrowotną: 20 płatnych dni urlopu; 5 płatnych dni chorobowych.
• Rozwój kariery i zawodowy wzrost: współpraca B2B i zdalna; rozwój kariery i profesjonalny wzrost; przeglądy wydajności technicznej i ocena 360;
• Możliwość kompensacji kosztów wydarzeń zewnętrznych; wewnętrzne możliwości dzielenia się wiedzą.
• Duch korporacyjny: wydarzenia online i offline oraz budowanie zespołu; przyjazna i wspierająca atmosfera; otwarte zarządzanie.