W skrócie
- Zadania: Twórz nowatorskie metody oceny wydajności modeli AI i współpracuj z zespołami badawczymi.
- Firma: NVIDIA - lider w rewolucji AI, oferujący dynamiczne środowisko pracy.
- Benefity: Atrakcyjne wynagrodzenie, dostęp do najnowszego sprzętu i możliwości rozwoju zawodowego.
- Pozostałe informacje: Możliwość pracy w różnorodnym zespole i wpływania na rozwój branży.
- Dlaczego ta praca: Kształtuj przyszłość AI, pracując z najnowocześniejszymi modelami i technologiami.
- Kwalifikacje: Doświadczenie w ML, LLM oraz umiejętności analizy statystycznej.
Poszukujemy starszych inżynierów, którzy będą pionierami nowych metod oceny wydajności i możliwości przełomowych modeli uczenia głębokiego, w tym LLM, RAG, agentów i modeli wizji. Będziesz współpracować w całej organizacji, aby ożywić najnowsze flagowe modele z naszej społeczności i partnerów. Ta rola oferuje wyjątkową okazję do kształtowania przyszłości AI w szybko rozwijającej się firmie na czołowej pozycji w rewolucji AI. Dołącz do naszego zespołu światowej klasy inżynierów oprogramowania i partnerów, aby dostarczyć najbardziej zaawansowane modele z błyskawiczną inferencją.
Będziesz pracować na najpotężniejszych klastrach GPU klasy enterprise, zdolnych do setek PetaFLOPS, i uzyskasz wczesny dostęp do niewydanego sprzętu, mając bezpośredni wpływ na plan działania NVIDIA i szerszy krajobraz AI!
Co będziesz robić:
- Projektowanie i budowanie środowisk oceny decyzji dla modeli granicznych NVIDIA obejmujących rozumowanie, multimodalne, długie konteksty i systemy agentowe, produkując audytowalne sygnały dokładności, które decydują o każdej głównej wersji modelu.
- Badanie i rozwijanie nowatorskich metod oceny dla pojawiających się rodzin modeli i obszarów możliwości (numeryka niskoprecyzyjna, zadania agentowe wielokrotnego obrotu, generowanie kodu), gdzie ustalone benchmarki jeszcze nie istnieją lub nie generalizują.
- Budowanie i obsługiwanie infrastruktury oceny i potoków, w tym środowisk benchmarkowych, systemów CI regresyjnego i narzędzi analizy statystycznej, używanych przez zespoły modelowe, produktowe i badawcze w NVIDIA.
- Współpraca z zespołami badawczymi, szkoleniowymi i klientami, aby przetłumaczyć sygnały oceny na konkretne decyzje: decyzja o wydaniu, kierunek iteracji szkoleniowej i pozycjonowanie konkurencyjne w stosunku do zewnętrznych modeli granicznych.
Co musimy zobaczyć:
- BS, MS lub PhD w dziedzinie informatyki, uczenia maszynowego, statystyki lub pokrewnej dziedziny.
- 6+ lat praktycznego doświadczenia z LLM, projektowania i prowadzenia ocen dla dużych modeli językowych lub systemów AI multimodalnych, w tym doświadczenie w ustawieniach agentowych, wielokrotnego obrotu lub wymagających rozumowania.
- Silne podstawy statystyczne: projektowanie eksperymentów, testowanie istotności, analiza regresji oraz umiejętność odróżniania sygnału od szumu w wynikach benchmarków na dużą skalę.
- Udokumentowane doświadczenie w budowaniu infrastruktury oceny (potoki, uchwyty benchmarkowe, powtarzalne systemy CI), a nie tylko w korzystaniu z istniejących benchmarków.
- Jasny, precyzyjny komunikator, który potrafi przetłumaczyć wyniki oceny ilościowej na decyzje dla badaczy, zespołów produktowych i wyższej kadry kierowniczej.
Sposoby, aby wyróżnić się z tłumu:
- Głęboka znajomość otwartych ram oceny.
- Doświadczenie w projektowaniu ocen dla systemów agentowych: użycie narzędzi, rozumowanie wielokrotnego obrotu, benchmarki oparte na środowisku (SWE-bench, GAIA, WebArena-style) lub interaktywne ustawienia oceny.
- Historia publikacji lub wkładu w badania oceny, projektowanie nowych benchmarków, artykuły metodologiczne lub analizy reprodukcji, które wpłynęły na sposób, w jaki dziedzina mierzy zdolności modeli.
- Doświadczenie w pomiarze dokładności modeli w warunkach niskoprecyzyjnej inferencji (FP8, INT4, ustawienia świadome kwantyzacji) oraz zrozumienie, jak kalibracja i rzadkość wpływają na wyniki benchmarków.
- Komfort w uruchamianiu dużych obciążeń roboczych na klastrach HPC/Slurm, w tym zarządzanie powtarzalnymi eksperymentami (MLflow, W&B) i optymalizacja kosztów obliczeniowych w setkach uruchomień benchmarków.
NVIDIA zobowiązuje się do wspierania różnorodnego środowiska pracy i jest dumnym pracodawcą równych szans. Ponieważ bardzo cenimy różnorodność w naszych obecnych i przyszłych pracownikach, nie dyskryminujemy (w tym w naszych praktykach zatrudnienia i awansu) na podstawie rasy, religii, koloru, pochodzenia narodowego, płci, ekspresji płci, orientacji seksualnej, wieku, stanu cywilnego, statusu weterana, statusu niepełnosprawności ani jakiejkolwiek innej cechy chronionej prawem.
Twoje wynagrodzenie podstawowe będzie ustalane na podstawie lokalizacji, doświadczenia i wynagrodzenia pracowników na podobnych stanowiskach. Dla Polski: Zakres wynagrodzenia podstawowego wynosi 375 000 PLN - 650 000 PLN.
Senior Deep Learning Engineer, Accuracy Evaluation in Warsaw – pracodawca: NVIDIA
NVIDIA to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku technologicznym. Pracując w zespole zajmującym się przyspieszaniem sieci AI, będziesz miał dostęp do innowacyjnych projektów oraz wsparcia w rozwijaniu swoich umiejętności w obszarze oprogramowania i technologii GPU. Nasza kultura pracy opiera się na współpracy, kreatywności i dążeniu do doskonałości, co czyni nas idealnym miejscem dla pasjonatów technologii szukających satysfakcjonującej kariery.
