W skrócie
- Zadania: Twórz nowatorskie metody oceny wydajności modeli AI i współpracuj z zespołem ekspertów.
- Firma: NVIDIA - lider w dziedzinie technologii AI i obliczeń przyspieszonych.
- Benefity: Atrakcyjne wynagrodzenie, dostęp do najnowszego sprzętu i możliwości rozwoju zawodowego.
- Pozostałe informacje: Praca w dynamicznym środowisku z możliwościami szybkiego rozwoju kariery.
- Dlaczego ta praca: Kształtuj przyszłość AI i wpływaj na rozwój przełomowych modeli.
- Kwalifikacje: Doświadczenie w ML, statystyce oraz ocenie dużych modeli językowych.
Poszukujemy starszych inżynierów, którzy będą pionierami nowych metodologii dokładnej oceny wydajności i możliwości przełomowych modeli uczenia głębokiego, w tym LLM, RAG, agentów i modeli wizji. Będziesz współpracować w całej organizacji, aby ożywić najnowsze flagowe modele z naszej społeczności i partnerów. Ta rola oferuje wyjątkową okazję do kształtowania przyszłości AI w szybko rozwijającej się firmie na czołowej pozycji w rewolucji AI. Dołącz do naszego zespołu światowej klasy inżynierów oprogramowania i partnerów, aby dostarczyć najbardziej zaawansowane modele z błyskawiczną inferencją.
Co będziesz robić:
- Projektowanie i budowanie środowisk oceny decyzji dla modeli granicznych NVIDIA obejmujących systemy rozumowania, multimodalne, długie konteksty i agentowe, produkując audytowalne sygnały dokładności, które decydują o każdej głównej wersji modelu.
- Badanie i rozwijanie nowatorskich metodologii oceny dla pojawiających się rodzin modeli i obszarów możliwości (numeryka niskiej precyzji, zadania agentowe wielokrotnego obrotu, generowanie kodu), gdzie ustalone benchmarki jeszcze nie istnieją lub nie generalizują.
- Budowanie i obsługiwanie infrastruktury oceny i pipeline'ów, w tym środowisk benchmarkowych, systemów CI regresyjnego i narzędzi analizy statystycznej, używanych przez zespoły modelowe, produktowe i badawcze w NVIDIA.
- Współpraca z zespołami badawczymi, szkoleniowymi i klientami, aby przetłumaczyć sygnały oceny na konkretne decyzje: decyzja o wydaniu, kierunek iteracji szkoleniowej i pozycjonowanie konkurencyjne w stosunku do zewnętrznych modeli granicznych.
Co musimy zobaczyć:
- BS, MS lub PhD w dziedzinie informatyki, uczenia maszynowego, statystyki lub pokrewnej dziedziny.
- Ponad 6-letnie doświadczenie w pracy z LLM, projektowaniu i przeprowadzaniu ocen dla dużych modeli językowych lub systemów AI multimodalnych, w tym doświadczenie w ustawieniach agentowych, wielokrotnego obrotu lub wymagających rozumowania.
- Silne podstawy statystyczne: projektowanie eksperymentów, testowanie istotności, analiza regresji oraz umiejętność odróżniania sygnału od szumu w wynikach benchmarków na dużą skalę.
- Udokumentowane doświadczenie w budowaniu infrastruktury oceny (pipeline'y, zestawy benchmarkowe, powtarzalne systemy CI), a nie tylko w korzystaniu z istniejących benchmarków.
- Jasny, precyzyjny komunikator, który potrafi przetłumaczyć wyniki oceny ilościowej na decyzje dla badaczy, zespołów produktowych i wyższej kadry kierowniczej.
Sposoby, aby wyróżnić się z tłumu:
- Głęboka znajomość otwartych frameworków oceny.
- Doświadczenie w projektowaniu ocen dla systemów agentowych: użycie narzędzi, rozumowanie wielokrotnego obrotu, benchmarki oparte na środowisku (SWE-bench, GAIA, WebArena-style) lub interaktywne ustawienia oceny.
- Historia publikacji lub wkładu w badania oceny, projektowanie nowych benchmarków, artykuły metodologiczne lub analizy powtarzalności, które ukształtowały sposób, w jaki dziedzina mierzy zdolności modeli.
- Doświadczenie w pomiarze dokładności modeli w warunkach niskiej precyzji inferencji (FP8, INT4, ustawienia świadome kwantyzacji) oraz zrozumienie, jak kalibracja i rzadkość wpływają na wyniki benchmarków.
- Komfort w uruchamianiu obciążeń roboczych na klastrach HPC/Slurm, w tym zarządzanie powtarzalnymi eksperymentami (MLflow, W&B) i optymalizacja kosztów obliczeniowych w setkach uruchomień benchmarków.
NVIDIA zobowiązuje się do wspierania różnorodnego środowiska pracy i jest dumnym pracodawcą równych szans. Wysoko cenimy różnorodność wśród naszych obecnych i przyszłych pracowników, nie dyskryminujemy (w tym w naszych praktykach zatrudnienia i awansów) ze względu na rasę, religię, kolor, pochodzenie narodowe, płeć, ekspresję płci, orientację seksualną, wiek, stan cywilny, status weterana, status niepełnosprawności ani jakąkolwiek inną cechę chronioną przez prawo.
Twoje wynagrodzenie podstawowe będzie ustalane na podstawie lokalizacji, doświadczenia i wynagrodzenia pracowników na podobnych stanowiskach. Dla Polski: Zakres wynagrodzenia podstawowego wynosi 375 000 PLN - 650 000 PLN.
NVIDIA była pionierem w przyspieszonym obliczaniu. Dziś nasza infrastruktura AI napędza globalną inteligencję, przekształcając każdą branżę.
Senior Deep Learning Engineer, Accuracy Evaluation in Katowice – pracodawca: NVIDIA Corporation
NVIDIA to doskonały pracodawca, oferujący wyjątkowe możliwości rozwoju zawodowego w dynamicznej i innowacyjnej kulturze pracy. Pracując w zespole inżynierów zajmujących się bibliotekami matematycznymi, będziesz miał okazję wpływać na rozwój technologii AI i HPC, a także korzystać z konkurencyjnych wynagrodzeń oraz bogatego pakietu benefitów. Nasza lokalizacja w Polsce sprzyja elastycznemu modelowi pracy, co pozwala na doskonałą równowagę między życiem zawodowym a prywatnym.
