Senior AI Compute Infrastructure Engineer in Warsaw

Kraken buduje dedykowany zespół AI Compute i Infrastructure, aby wspierać nową generację treningu modeli, wnioskowania, oceny i eksperymentów w całym wymianie. Zespół ten znajduje się w ramach kierownictwa inżynieryjnego i odpowiada za warstwę infrastruktury, która pozwala Krakenowi uruchamiać obciążenia AI z kontrolą, szybkością, niezawodnością i dyscypliną kosztową.

Zespół jest odpowiedzialny za infrastrukturę GPU i akceleratorów, operacje klastrów, harmonogramowanie, serwowanie modeli, obserwowalność, planowanie pojemności oraz efektywne koszty obliczeń na dużą skalę. To kręgosłup, który pozwala Krakenowi trenować, serwować, oceniać i iterować systemy AI wewnętrznie, gdzie ma to znaczenie dla prywatności, opóźnienia, niezawodności, kosztów lub różnicowania produktów.

Dołączysz do małego, senioralnego zespołu o wysokim wpływie, pracując bezpośrednio z badaczami AI/ML, inżynierami platform, zespołami bezpieczeństwa i zespołami produktowymi. Mandat jest prosty: zrealizować ambicje AI Kraken, budując infrastrukturę obliczeniową, która jest szybka, niezawodna, efektywna i gotowa do produkcji.

Obowiązki:

• Posiadać i obsługiwać klastry GPU i akceleratorów używane do treningu, wnioskowania, oceny i eksperymentów, w tym sterowniki, czasy wykonywania, jądra, wtyczki urządzeń, konfigurację węzłów, prymitywy harmonogramowania i izolację obciążenia.
• Projektować infrastrukturę, która umożliwia zespołom Kraken uruchamianie modeli lokalnie na GPU, gdzie jest to strategicznie i ekonomicznie korzystne, redukując niepotrzebną zależność od dostawców zewnętrznych i ograniczając koszty obliczeń.
• Budować i poprawiać systemy harmonogramowania, orkiestracji, umiejscowienia, zarządzania kwotami i wykorzystania w heterogenicznych środowiskach akceleratorów.
• Optymalizować potoki wnioskowania pod kątem opóźnienia, przepustowości, niezawodności, efektywności pamięci i kosztów, korzystając z frameworków takich jak vLLM, Triton Inference Server, TensorRT lub równoważnych stosów serwujących.
• Współpracować z inżynierami ML i badaczami w celu usunięcia wąskich gardeł w treningu, ocenie, wnioskowaniu wsadowym, wnioskowaniu online, wdrażaniu i debugowaniu produkcji.
• Budować obserwowalność dla wykorzystania GPU, ciśnienia pamięci, głębokości kolejek, nasycenia, przepustowości tokenów, opóźnienia żądań, nieudanych obciążeń, ciśnienia pojemności i wydatków.
• Napędzać niezawodność, reakcję na incydenty, alerty, instrukcje operacyjne i poprawy po incydentach dla zawsze aktywnej infrastruktury obliczeniowej AI.
• Ocenić i zintegrować nowy sprzęt, rodziny instancji chmurowych, specjalizowane akceleratory, czasy wykonywania, harmonogramy i frameworki serwujące, gdy krajobraz infrastruktury AI ewoluuje.
• Budować narzędzia, które sprawiają, że wykorzystanie GPU jest widoczne, odpowiedzialne i łatwiejsze do konsumpcji dla wewnętrznych zespołów bez potrzeby stawania się ekspertami w dziedzinie infrastruktury.
• Przyczyniać się do długoterminowych decyzji architektonicznych, które równoważą wydajność, efektywność kosztową, skalowalność, prostotę operacyjną i bezpieczeństwo produkcji.

Doświadczenie i umiejętności:

• 5+ lat doświadczenia w inżynierii infrastruktury, z znaczną ilością czasu spędzonego na obliczeniach GPU, infrastrukturze ML, systemach rozproszonych, obliczeniach o wysokiej wydajności lub platformach produkcyjnych na dużą skalę.
• Praktyczne doświadczenie w obsłudze klastrów GPU lub infrastruktury opartej na akceleratorach w środowiskach produkcyjnych lub podobnych do produkcji, w tym harmonogramowanie, orkiestracja, monitorowanie wykorzystania i optymalizacja kosztów.
• Silne fundamenty inżynierii systemów w zakresie Linuxa, sieci, przechowywania, kontenerów, Kubernetes, rozproszonych czasów wykonywania i debugowania produkcji.
• Doświadczenie z frameworkami serwującymi ML, takimi jak vLLM, Triton Inference Server, TensorRT, TorchServe, KServe, Ray Serve lub równoważnymi systemami.
• Biegłość w Pythonie do automatyzacji infrastruktury, narzędzi, debugowania, integracji i procesów operacyjnych.
• Praktyczne zrozumienie kompromisów wydajnościowych w zakresie pakowania, współbieżności, wykorzystania pamięci, wykorzystania GPU, rozmiaru modelu, opóźnienia, przepustowości, dostępności i kosztów.
• Udokumentowane osiągnięcia w optymalizacji kosztów obliczeń przy jednoczesnym utrzymywaniu jasnych oczekiwań dotyczących wydajności, niezawodności i dostępności.
• Doświadczenie w budowaniu systemów obserwowalnych z użytecznymi metrykami, logami, śladami, pulpitami nawigacyjnymi, alertami i procesami incydentów.
• Komfortowe działanie w środowiskach o wysokim ryzyku, zawsze aktywnych, gdzie krytyczne są czas działania, przepustowość, poprawność i dyscyplina operacyjna.
• Jasna komunikacja, która potrafi przetłumaczyć kompromisy infrastrukturalne dla badaczy, zespołów produktowych, inżynierów platform, interesariuszy ds. bezpieczeństwa i kierownictwa inżynieryjnego.

Umiejętności dodatkowe:

• Doświadczenie w laboratoriach AI na czołowej linii, hyperscalerach, firmach handlu wysokich częstotliwości, platformach badawczych lub organizacjach ML o dużej skali.
• Znajomość niestandardowego krzemu lub specjalizowanych akceleratorów, takich jak TPUs, AWS Trainium, Gaudi lub podobne platformy.
• Tło w zakresie planowania pojemności, wkład w zakupy, strategię rezerwacji pojemności, ekonomię akceleratorów chmurowych lub zarządzanie kosztami floty GPU.
• Doświadczenie z frameworkami do rozproszonego treningu, takimi jak DeepSpeed, Megatron-LM, FSDP, Ray lub równoważnymi systemami.
• Doświadczenie w debugowaniu CUDA, NCCL, jądra, sterownika, czasu wykonywania, pamięci, sieci lub problemów z wydajnością na niskim poziomie.
• Doświadczenie z Rustem, C++, Go, CUDA lub innymi językami systemowymi używanymi do infrastruktury krytycznej dla wydajności.
• Doświadczenie w obszarze kryptowalut, usług finansowych, infrastruktury handlowej lub infrastruktury produkcyjnej wrażliwej na bezpieczeństwo.

Informacje dodatkowe: O ile w ogłoszeniu o pracy nie podano konkretnego terminu aplikacji, aplikacje są przyjmowane na bieżąco. Proszę zauważyć, że kandydaci mogą redagować lub usuwać informacje na swoim CV, które identyfikują wiek, datę urodzenia lub daty uczęszczania do lub ukończenia instytucji edukacyjnej. Rozważamy wykwalifikowanych kandydatów z historią kryminalną do zatrudnienia w naszym zespole, oceniając kandydatów w sposób zgodny z wymaganiami San Francisco Fair Chance Ordinance. Możemy poprosić kandydatów o wykonanie związanych z pracą ocen umiejętności lub stylu pracy jako część naszego procesu rekrutacji. Te oceny mają na celu ocenę kompetencji istotnych dla roli i są stosowane konsekwentnie wśród kandydatów na podobne stanowiska. Wyniki ocen są brane pod uwagę obok innych istotnych informacji, takich jak doświadczenie i rozmowy kwalifikacyjne, i nie są jedyną podstawą jakiejkolwiek decyzji o zatrudnieniu. Jako pracodawca oferujący równe szanse, nie tolerujemy dyskryminacji ani molestowania jakiegokolwiek rodzaju. Niezależnie od tego, czy dotyczy to rasy, etniczności, wieku, tożsamości płciowej, obywatelstwa, religii, orientacji seksualnej, niepełnosprawności, ciąży, statusu weterana czy jakiejkolwiek innej chronionej cechy, jak określono w przepisach federalnych, stanowych lub lokalnych.