W skrócie
- Zadania: Optymalizuj silnik wnioskowania i rozwijaj infrastrukturę AI na dużą skalę.
- Firma: Mistral - innowacyjna firma zajmująca się rozwiązaniami AI.
- Benefity: Atrakcyjne wynagrodzenie, opieka zdrowotna, programy rozwojowe i elastyczne godziny pracy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery w międzynarodowym zespole.
- Dlaczego ta praca: Pracuj nad przełomowymi technologiami AI i wpływaj na przyszłość różnych branż.
- Kwalifikacje: Doświadczenie w budowaniu usług ML/LLM oraz umiejętności w Pythonie i Kubernetes.
Przewidywane wynagrodzenie mieści się w przedziale 135000 - 165000 zł za rok.
O MistralMistral zapewnia kompleksowe rozwiązania AI: od modeli frontier po narzędzia dla deweloperów, aplikacje i obliczenia. Współpracujemy z przedsiębiorstwami, które stawiają czoła najtrudniejszym problemom w branżach o wysokim ryzyku, takich jak finanse, produkcja, obrona, opieka zdrowotna i sektor publiczny, współtworząc dostosowane systemy AI, które mogą działać na ich warunkach. Jesteśmy dynamicznym, współpracującym zespołem, pasjonującym się AI i jego potencjałem do transformacji społeczeństwa. Nasza różnorodna siła robocza odnajduje się w konkurencyjnych środowiskach i jest zaangażowana w napędzanie innowacji. Nasze zespoły są rozproszone między Europą, Ameryką Północną, Azją i Bliskim Wschodem. Jesteśmy kreatywni, skromni i zespołowi.
Rola zespołu Inference Foundation obejmuje rdzeń stosu inferencyjnego Mistrala: silnik inferencyjny i jego orkiestrację, od zestawu funkcji i konfiguracji, które obsługują nasze modele w produkcji, po mechanizmy wydania, które utrzymują stos aktualny i gotowy do produkcji. Jest to hybrydowa pozycja obejmująca produkcję LLM, rozwój silnika i platformy oraz inżynierię pojemności. Będziesz pracować nad trzema powiązanymi problemami:
- Optymalizacja stosu inferencyjnego na dużą skalę — rozwój funkcji i poprawki w silniku i orkiestratorze, maksymalizowanie przepustowości i minimalizowanie opóźnień przy ścisłych celach jakości usług.
- Uczynienie pojemności elastyczną — skalowanie w górę i w dół powinno być tanie i szybkie, a nie prowadzić do spadku wydajności.
- Zasilanie treningu naszych modeli frontier — wysokowydajne serwowanie, które utrzymuje pętle RL i post-treningowe w pełnej prędkości.
Co będziesz robić:
- Silnik inferencyjny i orkiestracja: rozwijanie i naprawianie rdzenia stosu inferencyjnego — silnika i orkiestratora — w tym wybór funkcji, konfiguracja i strojenie dla maksymalnej wydajności na dużą skalę.
- Własność procesu wydania dla stosu serwowania: zwalidowane, bez regresji wydania przez automatyczne bramy wydajności i stopniowe wdrażanie.
- Optymalizacja wydajności i pojemności na dużą skalę: optymalizacja efektywności serwowania w całej flocie — skracanie czasu uruchamiania podów, radzenie sobie z regresjami zimnego cache podczas skalowania, inteligentne buforowanie i odciążanie.
- Budowanie infrastruktury serwującej, która zasila RL i post-trening dla naszych modeli frontier.
- Optymalizacja wydajności inferencji w całym zakresie naszych obciążeń roboczych.
Czego szukamy:
- Doświadczenie w budowaniu i uruchamianiu usług ML/LLM na dużą skalę, z wyraźnymi celami latencji i dostępności.
- Praktyczne doświadczenie z silnikami inferencyjnymi takimi jak vLLM, SGLang, TensorRT-LLM lub innymi.
- Solidne zrozumienie wewnętrznych mechanizmów inferencji: prefill vs. decode, zachowanie KV-cache, grupowanie, harmonogramowanie, spekulacyjne dekodowanie, strategie równoległości.
- Znajomość architektur serwowania rozproszonych i rozdzielonych.
- Komfort w debugowaniu w całym stosie — CUDA/NCCL, jądra, kontenery, sieci, przechowywanie.
- Python do narzędzi systemowych i usług backendowych; PyTorch Kubernetes do uruchamiania infrastruktury na dużą skalę.
- Podstawy GPU i sieci: czas wykonania CUDA, NCCL, InfiniBand/RDMA.
Byłoby świetnie, gdybyś miał:
- Udokumentowaną wiedzę na temat vLLM/sglang — wkład w upstream lub doświadczenie w wymagających środowiskach produkcyjnych.
- Optymalizację świadomą sprzętu dla różnych architektur modeli.
- Doświadczenie w serwowaniu modeli MoE na dużą skalę (równoległość ekspertów, umiejscowienie ekspertów/balansowanie obciążenia).
- Rozwój jądra CUDA/Triton; profilowanie Nsight Systems/Compute.
- Rust i/lub C++ w systemach produkcyjnych.
Co oferujemy: Oferujemy kompleksowy pakiet świadczeń zaprojektowany w celu wsparcia Twojego dobrostanu, rozwoju i równowagi między życiem zawodowym a prywatnym. Świadczenia różnią się w zależności od kraju i mogą obejmować pokrycie kosztów opieki zdrowotnej, urlop rodzicielski, plany emerytalne, wsparcie w relokacji, programy wellness, dodatki na posiłki i transport oraz inne lokalne korzyści. Aby uzyskać najnowsze informacje na temat dostępnych świadczeń w Twojej lokalizacji, zapoznaj się z naszą stroną z informacjami o świadczeniach.
Research Engineer in Warsaw – pracodawca: Mistral
Mistral to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku technologicznym w Warszawie. Nasza kultura pracy opiera się na współpracy i innowacyjności, co pozwala pracownikom na realizację ambitnych projektów w dziedzinie AI. Oferujemy atrakcyjne benefity oraz wsparcie w rozwoju kariery, co czyni nas idealnym miejscem dla osób poszukujących znaczącej i satysfakcjonującej pracy.
