W skrócie
- Zadania: Kieruj strategią techniczną wydajności inferencji i prowadź zespół optymalizacji.
- Firma: Venice AI, wiodąca firma AI z kulturą współpracy i innowacji.
- Benefity: Praca zdalna, konkurencyjne wynagrodzenie i możliwość rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami szybkiego rozwoju kariery.
- Dlaczego ta praca: Pracuj nad prywatnością AI i kształtuj przyszłość interakcji człowiek-AI.
- Kwalifikacje: 8+ lat doświadczenia w optymalizacji wydajności i zarządzaniu zespołem inżynieryjnym.
Venice jest wiodącą firmą AI, która opiera się na zasadach prywatności, wolności słowa i suwerenności użytkowników. Naszą misją jest uczynienie sztucznej inteligencji dostępną i użyteczną w codziennej pracy, łącząc nowoczesne badania z praktycznym wpływem na rzeczywistość. Jesteśmy szybko rozwijającym się startupem, w którym każdy członek zespołu ma za zadanie wywarcie wyraźnego wpływu.
Dlaczego zatrudniamy:
Venice to jedyna platforma AI, która prowadzi inferencję bez przechowywania danych i bez szkolenia na danych użytkowników. To okazja, aby być na czołowej linii prywatności w AI z unikalnym i dedykowanym zespołem. Ta rola wymaga zarówno pracy jako indywidualny wkład, jak i zarządzania małym zespołem. Będziesz odgrywać kluczową rolę w kształtowaniu ogólnej strategii technicznej Venice oraz w tworzeniu wyjątkowego zespołu, który dostarczy szczytową wydajność inferencji na dużą skalę.
Co będziesz robić:
- Właściciel strategii technicznej Venice dotyczącej wydajności inferencji
- Rekrutacja i prowadzenie zespołu ds. optymalizacji inferencji w Venice
- Optymalizacja infrastruktury GPU Venice w różnych architekturach (np. H200s, B300s)
- Poprawa latencji, przepustowości i kosztu na token dla obciążeń roboczych LLM
- Budowanie powtarzalnych narzędzi benchmarkowych w różnych silnikach inferencyjnych (np. vLLM, SGLang)
- Praca z naszym systemem routingu inferencji w celu optymalizacji algorytmów równoważenia obciążenia
- Ocena nowych technik optymalizacji inferencji (niestandardowe jądra CUDA/Triton), nowe warianty uwagi, nowe schematy kwantyzacji i poprawki stosu kompilacji
- Ocena nowego sprzętu do inferencji (FPGA, ASIC, niestandardowy krzem) pod kątem przydatności w stosie Venice
Kim jesteś:
- 8+ lat doświadczenia w optymalizacji wydajności lub HPC, z głęboką wiedzą na temat architektury GPU i programowania równoległego
- 5+ lat doświadczenia w prowadzeniu zespołów inżynieryjnych
- Biegłość w Pythonie, Rust lub Go
- Doświadczenie z co najmniej jednym produkcyjnym silnikiem inferencyjnym LLM (np. vLLM, SGLang) działającym w wysokiej objętości w produkcji
- Udokumentowane doświadczenie z technikami optymalizacji inferencji LLM: ciągłe pakowanie, zarządzanie pamięcią podręczną PagedAttention/KV, spekulacyjne dekodowanie, kwantyzacja, grafy CUDA i torch.compile
- Biegłość w strategiach rozproszonej inferencji (równoległość tensorowa, równoległość potokowa, równoległość MoE) w środowiskach wielo-GPU i wielo-węzłowych
- Biegłość w profilowaniu GPU (Nsight Systems, Nsight Compute, PyTorch Profiler) i skłonność do mierzenia przed optymalizacją
Bonus: optymalizacja inferencji modeli dyfuzji/obrazu, niestandardowe jądra Triton, wkład w otwarte ramy inferencyjne.
Engineering Lead, Inference Optimization in Katowice – pracodawca: Venice.ai
Venice.ai to wiodąca firma zajmująca się sztuczną inteligencją, która oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku. Pracownicy cenią sobie kulturę współpracy i innowacji, a także elastyczne podejście do pracy, co sprzyja kreatywności i efektywności. Dodatkowo, lokalizacja w sercu branży technologicznej zapewnia dostęp do najnowszych trendów oraz sieci profesjonalnych kontaktów.
