Senior Deep Learning Software Engineer, Inference in Warsaw

NVIDIA seeks a Senior Software Engineer specializing in Deep Learning Inference for our growing team. As a key contributor, you will help design, build, and optimize the GPU-accelerated software that powers today’s most sophisticated AI applications. Our team is responsible for developing and maintaining high-performance deep learning frameworks, including SGLang and vLLM, which are at the forefront of efficient large-scale model serving and inference. You will play a central role in improving these platforms, facilitating smooth deployment and serving of groundbreaking language models. You’ll work closely with the deep learning community to implement the latest algorithms for public release in frameworks like SGLang and vLLM, as well as other DL frameworks. Your work will focus on identifying and driving performance improvements for state-of-the-art LLM and Generative AI models across NVIDIA accelerators, from datacenter GPUs to edge SoCs. You'll bring to bear open-source tools and plugins— including CUTLASS, OAI Triton, NCCL, and CUDA kernels—to implement and optimize model serving pipelines.

Co będziesz robić:

• Optymalizacja wydajności, analiza i dostrajanie modeli DL w różnych dziedzinach, takich jak LLM, Multimodal i Generative AI.
• Skalowanie wydajności modeli DL na różnych architekturach i typach akceleratorów NVIDIA.
• Wkład w funkcje i kod do bibliotek inferencyjnych NVIDIA, vLLM i SGLang, FlashInfer oraz rozwiązań oprogramowania LLM.
• Praca z zespołami współpracującymi w ramach różnych frameworków, bibliotek NVIDIA i innowacyjnych rozwiązań optymalizacji inferencji.

Co musimy zobaczyć:

• Magister lub doktorat lub równoważne doświadczenie w odpowiedniej dziedzinie (Inżynieria komputerowa, Informatyka, EECS, AI).
• 5+ lat odpowiedniego doświadczenia w rozwoju oprogramowania.
• Doskonałe umiejętności programowania w C/C++ i projektowania oprogramowania.
• Umiejętności Agile w zakresie SW są pomocne, a doświadczenie w Pythonie jest dodatkowym atutem.
• Wcześniejsze doświadczenie w szkoleniu, wdrażaniu lub optymalizacji inferencji modeli DL w produkcji jest dodatkowym atutem.
• Wcześniejsze doświadczenie w modelowaniu wydajności, profilowaniu, debugowaniu i optymalizacji kodu lub wiedza architektoniczna na temat CPU i GPU jest dodatkowym atutem.

Sposoby, aby wyróżnić się w tłumie:

• Wkład w projekty oprogramowania Deep Learning, takie jak PyTorch, vLLM i SGLang, aby napędzać postęp w tej dziedzinie.
• Doświadczenie z komunikacją Multi-GPU (NCCL, NVSHMEM).
• Doświadczenie w budowaniu i dostarczaniu produktów klientom korporacyjnym.
• Doświadczenie w programowaniu GPU (CUDA, OAI TRITON lub CUTLASS).

NVIDIA jest na czołowej pozycji w przełomach w dziedzinie sztucznej inteligencji, obliczeń o wysokiej wydajności i wizualizacji. Nasze zespoły składają się z ambitnych, innowacyjnych profesjonalistów, którzy są zaangażowani w przesuwanie granic technologii. Oferujemy bardzo konkurencyjne wynagrodzenia, rozbudowany pakiet świadczeń oraz środowisko pracy, które promuje różnorodność, inkluzję i elastyczność. Jako pracodawca oferujący równe szanse, zobowiązujemy się do wspierania i wzmacniania miejsca pracy dla wszystkich.

Twoje wynagrodzenie podstawowe będzie ustalane na podstawie lokalizacji, doświadczenia oraz wynagrodzenia pracowników na podobnych stanowiskach. Dla Polski: Zakres wynagrodzenia podstawowego wynosi 221,250 PLN - 383,500 PLN dla poziomu 3 oraz 292,500 PLN - 507,000 PLN dla poziomu 4.