GenAI Algorithms Intern – Model Optimization for Inference in Warsaw

NVIDIA jest na czołowej pozycji w rewolucji generatywnej AI! Zespół Algorytmicznej Optymalizacji Modeli koncentruje się na optymalizacji modeli generatywnych AI, takich jak duże modele językowe (LLM), modele językowo-wizualne (VLM) oraz modele dyfuzji, aby osiągnąć maksymalną efektywność wnioskowania przy użyciu technik takich jak kwantyzacja, dekodowanie spekulacyjne, rzadkość, destylacja, przycinanie, wyszukiwanie architektury neuronowej oraz automatyczne strategie wdrażania.

Nasza praca obejmuje prowadzenie badań stosowanych w celu poprawy efektywności modeli oraz rozwijanie innowacyjnej platformy optymalizacji modeli open-source (NVIDIA Model Optimizer). Nasze oprogramowanie jest wykorzystywane zarówno wewnętrznie w NVIDIA, jak i zewnętrznie przez zespoły badawcze i inżynieryjne, które opracowują najlepsze modele AI.

Poszukujemy stażysty w dziedzinie algorytmów GenAI, który pomoże w optymalizacji nowoczesnych modeli generatywnych AI, takich jak LLM, VLM, multimodalne i modele dyfuzji. W tej roli będziesz projektować, wdrażać i produkować algorytmy optymalizacji modeli do wnioskowania i wdrażania na najnowszych platformach sprzętowych NVIDIA. Skupimy się na łatwości użycia, efektywności obliczeniowej i pamięci oraz osiąganiu najlepszych kompromisów między dokładnością a wydajnością poprzez współprojektowanie oprogramowania i sprzętu.

Twoja praca będzie obejmować wiele warstw stosu oprogramowania AI – od projektowania algorytmów po integrację – w ekosystemie NVIDIA (Model Optimizer, NeMo/Megatron, TensorRT-LLM) oraz w ramach open-source (PyTorch, Hugging Face, vLLM, SGLang). Możesz również zagłębić się w optymalizację na poziomie GPU, w tym rozwój niestandardowych rdzeni z CUDA i Triton.

Co będziesz robić:

• Pomoc w projektowaniu i budowaniu modułowych, skalowalnych platform oprogramowania do optymalizacji modeli, które zapewniają wyjątkowe doświadczenia użytkowników, wspierając różnorodne modele AI i techniki optymalizacji.
• Badanie, rozwijanie i integrowanie innowacyjnych algorytmów optymalizacji głębokiego uczenia (kwantyzacja, dekodowanie spekulacyjne, rzadkość, destylacja, przycinanie, wyszukiwanie architektury neuronowej) w stosie oprogramowania AI NVIDIA.
• Wdrażanie zoptymalizowanych modeli do wiodących frameworków open-source do wnioskowania oraz wniesienie specjalistycznych API, optymalizacji na poziomie modeli i nowych funkcji dostosowanych do najnowszych możliwości sprzętowych NVIDIA.
• Współpraca z zespołami NVIDIA nad rozwiązaniami optymalizacji modeli dla przypadków użycia klientów, dążąc do optymalnych przepływów pracy end-to-end oraz zrównoważonych kompromisów między dokładnością a wydajnością.
• Przeprowadzanie profilowania rdzeni GPU w celu identyfikacji i wykorzystania możliwości optymalizacji sprzętowych i programowych (np. efektywne rdzenie uwagi, optymalizacja pamięci podręcznej KV, strategie równoległości).

Co musimy zobaczyć:

• Studia magisterskie lub doktoranckie w dziedzinie informatyki, AI, matematyki stosowanej lub pokrewnej dziedziny.
• Silne podstawy w głębokim uczeniu i praktyczne doświadczenie z modelami językowymi.
• Solidna wiedza z zakresu algorytmów i programowania.
• Biegłość w Pythonie, PyTorch oraz nowoczesnych narzędziach/frameworkach ML.
• Dobre umiejętności komunikacyjne w mowie i piśmie, z umiejętnością pracy zarówno samodzielnie, jak i w zespole w szybkim tempie.

Sposoby, aby wyróżnić się z tłumu:

• Doświadczenie w optymalizacji modeli i efektywności (np. kwantyzacja, destylacja, przycinanie).
• Wkład w PyTorch, JAX, vLLM, SGLang lub inne frameworki do treningu i wnioskowania w uczeniu maszynowym.
• Praktyczne doświadczenie w trenowaniu lub dostrajaniu modeli generatywnych AI na dużych klastrach GPU.
• Znajomość architektur GPU i stosów kompilacyjnych oraz umiejętność analizy i debugowania wydajności end-to-end.
• Znajomość SDK do głębokiego uczenia NVIDIA (Model Optimizer, NeMo).

NVIDIA jest zobowiązana do wspierania różnorodnego środowiska pracy i jest dumna z bycia pracodawcą oferującym równe szanse. Wysoko cenimy różnorodność wśród naszych obecnych i przyszłych pracowników, nie dyskryminujemy (w tym w naszych praktykach zatrudnienia i awansów) ze względu na rasę, religię, kolor skóry, pochodzenie narodowe, płeć, wyrażanie płci, orientację seksualną, wiek, stan cywilny, status weterana, status niepełnosprawności ani jakąkolwiek inną cechę chronioną prawem.

Wynagrodzenie za staż opiera się na stanowisku, lokalizacji, roku studiów, stopniu naukowym i doświadczeniu. Dla Polski: roczny zakres wynagrodzenia dla naszych stażystów wynosi 117,750 PLN - 204,100 PLN (proporcjonalnie do czasu trwania stażu).