Senior Applied ML Engineer in Katowice

Dlaczego Kimchi? Świetne modele to surowe składniki. Kimchi to to, co się dzieje, gdy fermentujesz je z dobrą inżynierią. Zaczęliśmy w CAST AI, pomagając firmom uruchamiać LLM na własnych klastrach Kubernetes; dziś uruchamiamy nasze własne narzędzie kodujące na dowolnym modelu, który wybierzesz, a router decydujący, który model odpowiada na każde zapytanie, również należy do nas.

Auto Router Nasza obietnica to jedna warstwa egzekucji dla Twojej AI: budżety, przypisanie wydatków i routing modeli, stosowane zanim zapytanie dotrze do modelu. Auto Router podejmuje decyzję: dla każdego zapytania, który model je obsługuje. Osiem modeli open-source, których ceny wejściowe rozciągają się na ponad 20×, zbuforowane wejście do 50× tańsze niż świeże, dostawcy frontier na kluczach klientów oraz agent kodujący, który wysyła setki zapytań, zanim jego zadanie zostanie zakończone. Sukces zadania na poziomie frontier za ułamek kosztu tokenów: to zdanie to produkt, a pozostaje prawdziwe tylko wtedy, gdy model wewnątrz routera wciąż się poprawia. Ten model jest Twój.

Stworzony przez Cast AI – zespół z siedzibą w Miami, globalnie rozproszony w 34 krajach, który osiągnął status jednorożca w styczniu 2026 roku z inwestycją przekraczającą 50 miliardów dolarów, co podniosło jego wycenę powyżej 1 miliarda dolarów.

O roli Każde zapytanie wymaga decyzji: który model je obsługuje. To stanowisko związane z zastosowaniem ML, a nie infrastrukturą. Inżynierowie platformy odpowiadają za proxy, ścieżkę strumieniową i flotę. Ty odpowiadasz za model wewnątrz nich: dane treningowe, cel, ewaluację i pętlę iteracyjną, która co cykl dostarcza lepszy router.

Problem: routing to problem predykcji w odzieniu produktu. Dla każdego zapytania przewidujesz jakość, jaką każdy kandydat model mógłby dostarczyć, ile by to kosztowało i jak szybko by dekodował, i musisz być wystarczająco trafny, w agregacie, aby oszczędności były rzeczywiste, a jakość nigdy nie spadała poniżej poziomu frontier. Dane są chaotyczne: wyniki wdrożeń z benchmarków, rekordy per-zapytanie z żywej floty, sygnały nadpisania i strumienie tokenów, których prędkość zależy od współczynnika serwowania w danym momencie. Sama prędkość jest zmienną poprawności: w pracy związanej z terminami, model, który dekoduje trzy razy wolniej, nie wykonuje tej samej pracy wolniej, wykonuje mniej pracy. Dlatego naiwne cele kosztu na tokeny cicho optymalizują niewłaściwą rzecz. A poprzeczka dla dowodów jest wysoka: zmiana routera jest wdrażana tylko po ocenie parytetu produkcji z marginesami błędu, a następnie jest trzymana do swoich wyników w ruchu na żywo.

Stack: Python; PyTorch; SQL w skali (ClickHouse); API LLM zgodne z OpenAI i Anthropic; benchmarki i wdrożenia (klasa RouterBench); GitLab CI.

Wymagania Masz ponad 5-letnie doświadczenie w zastosowanym ML lub badaniach ML, a także trenowałeś, oceniałeś i wdrażałeś modele, które podejmują decyzje w czasie rzeczywistym (ranking, rekomendacje, bandyty, wycena lub routing LLM) i potrafisz opowiedzieć tę historię z dowodami. Silna znajomość Pythona i SQL w skali: potrafisz pobierać, czyścić i analizować miliony rekordów na poziomie zapytań bez czekania na nikogo. Znasz różnicę między modelem, który się poprawił, a ewaluacją, która stała się łatwiejsza. Masz realne opinie na temat tego, co mierzą benchmarki LLM, w tym agenty. Wiesz wystarczająco o rzeczywistości serwowania (TTFT, prędkość dekodowania, grupowanie, buforowanie prefiksów, współbieżność), aby uczciwie modelować cel. Instrumentujesz przed optymalizacją, z marginesami błędu i wszystkim innym. Szeroki mandat ekscytuje Cię bardziej niż niepokoi.

Miłe dodatki Pracowałeś nad routingiem LLM konkretnie: ewaluacje klasy RouterBench, fronty Pareto koszt/jakość/opóźnienie. Kalibracja, abstencja lub metody konformalności w systemach decyzyjnych produkcji. Prowadziłeś pętle A/B online z monitorowaniem dryfu na modelu, który dotyka prawdziwych pieniędzy.

Obowiązki Posiadaj model routingu od początku do końca: cechy, cel, trening, kalibracja i rytm wydania. Iteruj go jak produkt, a nie artefakt badawczy. Buduj ewaluację, która blokuje każdą zmianę: benchmarki parytetu produkcji, porównania router-vs-router, holdouty według rodziny zadań, marginesy błędu na wskaźnikach przejścia. Nic nie wysyła się na podstawie intuicji. Przekształć dane floty w sygnał treningowy: wyniki per-zapytanie z produkcji, wdrożenia benchmarków i informacje zwrotne z nadpisania, z kategoryzacją błędów (infra vs zadanie), aby zatrute etykiety nigdy nie dotarły do polityki. Modeluj cel, który użytkownik faktycznie doświadcza: sukces zadania × koszt tokenów × prędkość zegara pod rzeczywistym reżimem współbieżności, z ekonomią buforowanych danych wejściowych w obrazie. Uruchom pętlę online: cień, A/B, pełne wdrożenie, monitorowanie dryfu, ponowne trenowanie. Gdy produkcja nie zgadza się z Twoją ewaluacją offline, dowiedz się dlaczego przed następnym wdrożeniem. Popychaj granice tam, gdzie to się opłaca: kalibrowane decyzje, abstencja w warunkach niepewności, routing świadomy prędkości. Eksperymentujemy nad tym, czym powinien być router, a nie tylko którym modelem wybiera dzisiaj.

Współpracuj z inżynierami platformy nad instrumentacją: cechy i etykiety rejestrowane na każde zapytanie (prędkość dekodowania na pierwszym miejscu) oraz eksperymenty, które ścieżka danych musi wspierać.

Co zyskujesz? Konkurencyjne wynagrodzenie (w zależności od poziomu doświadczenia). Ciesz się elastycznym, zdalnym środowiskiem globalnym. Współpracuj z globalnym zespołem ekspertów chmurowych i innowatorów, pasjonujących się przesuwaniem granic technologii Kubernetes. Opcje na akcje. Uzyskaj szybkie informacje zwrotne w szybkim tempie pracy. Większość projektów funkcjonalnych jest realizowana w ciągu 1 do 4 tygodni. Spędź 10% swojego czasu pracy na projektach osobistych lub samodoskonaleniu. Budżet na naukę na rozwój zawodowy i osobisty - w tym dostęp do międzynarodowych konferencji i kursów, które podnoszą Twoje umiejętności. Coroczny hackathon, aby wzbudzić nowe pomysły i wzmocnić więzi zespołowe. Budżet na budowanie zespołu i wydarzenia firmowe, aby połączyć się z kolegami. Budżet na sprzęt, aby zapewnić, że masz wszystko, czego potrzebujesz. Dodatkowe dni wolne, aby pomóc utrzymać zdrową równowagę między pracą a życiem prywatnym.

Proces rekrutacji Rozmowa wstępna z rekruterem. Rozmowa z menedżerem zatrudniającym. Rozmowa techniczna (projekt systemu). Kodowanie na żywo. Sprawdzenie kultury z członkiem zarządu. W ramach naszego standardowego procesu rekrutacji informujemy, że na ostatnim etapie rekrutacji może zostać przeprowadzone sprawdzenie przeszłości przez naszego dostawcę zewnętrznego, Checkr. Proszę pamiętać, że Cast AI nie zapewnia żadnej formy sponsorowania wiz lub pozwolenia na pracę.