AIOps Engineer in Warsaw

DCG rozumie, że każda firma jest napędzana przez doświadczonych profesjonalistów. Nasz styl zarządzania i podejście partnerskie pozwalają nam spełniać Twoje potrzeby i zapewniać ciągłe wsparcie. Z powodu naszego ciągłego wzrostu oraz dużej liczby projektów rekrutacyjnych, które realizujemy dla naszych partnerów, obecnie poszukujemy:

Obowiązki:

• Projektowanie, wdrażanie i utrzymywanie usług wnioskowania vLLM na OpenShift/Kubernetes działających na infrastrukturze GPU bare-metal.
• Zarządzanie zasobami GPU NVIDIA, w tym partycjonowaniem i alokacją GPU, aby maksymalizować wykorzystanie w różnych modelach i najemcach.
• Automatyzacja zarządzania cyklem życia modelu, w tym onboardingu modelu, wersjonowania, wdrażania, hot-swappingu i rollbacku z prywatnych rejestrów, takich jak Hugging Face Enterprise i S3.
• Implementacja i zarządzanie Autoskalowaniem Podów w poziomie (HPA) w oparciu o zapotrzebowanie na obciążenie, głębokość kolejki i wykorzystanie zasobów GPU.
• Optymalizacja konfiguracji vLLM i parametrów serwowania w celu maksymalizacji wydajności, przepustowości i efektywności zasobów.
• Budowanie i utrzymywanie rozwiązań do obserwowalności i monitorowania usług wnioskowania AI, w tym zbierania metryk, logowania i śledzenia.
• Instrumentacja punktów końcowych vLLM w celu ujawnienia metryk związanych z zużyciem tokenów, opóźnieniem, przepustowością i wskaźnikami błędów.
• Opracowywanie mechanizmów śledzenia użycia w celu monitorowania zużycia tokenów według klucza API, użytkownika, zespołu lub działu, wspierających zarządzanie kwotami i wymaganiami dotyczącymi chargeback/showback.
• Tworzenie i utrzymywanie pulpitów nawigacyjnych Grafana obejmujących zdrowie infrastruktury, wykorzystanie GPU, wydajność wnioskowania, dostępność usług i metryki konsumpcji biznesowej.
• Konfigurowanie proaktywnego monitorowania i alertowania przy użyciu Prometheus i Alertmanager w celu wykrywania awarii infrastruktury, degradacji wydajności i nietypowych wzorców konsumpcji.
• Implementacja i utrzymywanie rozwiązań bramy API w celu zapewnienia uwierzytelniania, autoryzacji, limitowania szybkości i inteligentnego routingu do usług wnioskowania.
• Zapewnienie bezpiecznej operacji usług AI poprzez segmentację sieci, kontrolę dostępu przychodzącego i wychodzącego oraz przestrzeganie najlepszych praktyk bezpieczeństwa.
• Utrzymywanie możliwości logowania audytowego w celu wsparcia zgodności, dochodzeń w sprawie bezpieczeństwa i zarządzania operacyjnego.
• Współpraca z zespołami AI Engineering, Platform Engineering, Security i Infrastructure w celu dostarczenia niezawodnych, skalowalnych i bezpiecznych usług AI.
• Udział w rozwiązywaniu problemów, odpowiedzi na incydenty, analizie przyczyn źródłowych oraz inicjatywach ciągłego doskonalenia platformy.

Wymagania:

• 5+ lat doświadczenia w DevOps, Site Reliability Engineering (SRE), Platform Engineering lub Operations Infrastrukturalnych.
• Co najmniej 2 lata praktycznego doświadczenia w wsparciu MLOps, infrastruktury AI lub platform LLM.
• Silne doświadczenie w administracji Kubernetes i OpenShift w środowiskach produkcyjnych.
• Udokumentowane doświadczenie w wdrażaniu i obsłudze platform wnioskowania opartych na vLLM w środowisku produkcyjnym.
• Silne zrozumienie koncepcji serwowania LLM, w tym Paged Attention, ciągłego pakowania i technik optymalizacji wnioskowania.
• Dogłębna wiedza na temat technologii GPU NVIDIA, sterowników CUDA, NVIDIA Container Toolkit oraz rozwiązywania problemów z GPU.
• Praktyczne doświadczenie z Prometheus, Grafana, OpenTelemetry i ELK Stack.
• Doświadczenie w budowaniu rozwiązań do obserwowalności, w tym niestandardowych metryk, eksporterów, pulpitów nawigacyjnych i mechanizmów alertowania.
• Silne umiejętności programowania w Pythonie z doświadczeniem w rozwijaniu automatyzacji i narzędzi operacyjnych.
• Doświadczenie w skryptowaniu Bash i administracji systemami Linux.
• Znajomość GitLab CI, Jenkins, ArgoCD oraz praktyk Infrastructure-as-Code.
• Silne umiejętności analityczne i rozwiązywania problemów z zdolnością do pracy w złożonych, rozproszonych środowiskach.
• Doskonałe umiejętności komunikacyjne i współpracy.

Oferta:

• Prywatna opieka medyczna.
• Współfinansowanie karty sportowej.
• Możliwości szkoleń i nauki.
• Ciągłe wsparcie dedykowanego konsultanta.