Senior MLOps / ML Platform Engineer in Kraków

Poszukujemy Senior MLOps Engineer, który dołączy do Sigma Software i pomoże zbudować platformę ML klasy produkcyjnej dla dużego ekosystemu AdTech. Będziesz pracować nad infrastrukturą wspierającą systemy podejmowania decyzji predykcyjnych, które przetwarzają setki milionów zapytań aukcyjnych dziennie.

Jako część dedykowanego zespołu inżynieryjnego, przyczynisz się do skalowalnej orkiestracji ML, automatyzacji cyklu życia modeli, obserwowalności oraz procesów optymalizacji w czasie rzeczywistym. Ta rola jest idealna dla inżynierów z silnym doświadczeniem produkcyjnym, którzy lubią rozwiązywać złożone wyzwania związane z platformą i operacjami.

Oferujemy możliwość pracy nad nowoczesnymi projektami infrastruktury ML, współpracy z doświadczonymi inżynierami oraz wpływania na decyzje architektoniczne w długoterminowym zaangażowaniu strategicznym.

KLIENT

Nasz klient to firma technologiczna działająca w obszarze infrastruktury po stronie podaży w ekosystemie reklamy programatycznej. Firma zarządza platformą wymiany reklam o wysokim obciążeniu, obsługującą setki milionów zapytań aukcyjnych każdego dnia i inwestuje w zaawansowane możliwości podejmowania decyzji predykcyjnych, aby poprawić wyniki reklamodawców oraz procesy optymalizacji w czasie rzeczywistym.

PROJEKT

Sigma Software buduje platformę modelowania predykcyjnego i optymalizacji zintegrowaną z żywym środowiskiem wymiany reklam. Rozwiązanie umożliwia ocenę i filtrowanie podaży w czasie rzeczywistym, generowanie podobnych do grupy odbiorców, szacowanie wydajności kontekstowej oraz optymalizację wielokryterialną pod kątem ograniczeń operacyjnych.

Projekt łączy dużą skalę infrastruktury ML, automatyczne zarządzanie cyklem życia modeli, architekturę wielo-najemcy oraz zaawansowane praktyki obserwowalności. Zespół koncentruje się na dostarczaniu niezawodnych, powtarzalnych i skalowalnych systemów ML gotowych do długoterminowego posiadania przez klienta.

Kluczowe technologie:

• Python
• Kubernetes
• Docker
• GCP
• Vertex AI
• MLflow
• Airflow
• Kubeflow
• Argo Workflows
• Terraform

Obowiązki:

• Budowanie i utrzymywanie orkiestracji treningu ML w harmonogramach godzinowych, dziennych i tygodniowych.
• Implementacja mechanizmów ponownych prób, backfill i idempotentnych wykonania.
• Projektowanie i wsparcie przepływów pracy rejestru modeli, w tym wersjonowanie, pochodzenie, bramki oceny i procesy promocyjne.
• Rozwój izolowanych środowisk modeli dla poszczególnych reklamodawców z separacją przestrzeni nazw i konfiguracji.
• Budowanie skalowalnych potoków odświeżania i przepływów pracy publikacji dla infrastruktury serwującej.
• Implementacja strategii shadow mode i champion/challenger deployment.
• Rozwój monitorowania i alertowania dla metryk specyficznych dla ML, w tym detekcji dryfu, dryfu predykcji, rozbieżności trening/serwis oraz degradacji kalibracji.
• Zapewnienie powtarzalności przepływów pracy ML przy użyciu środowisk kontenerowych, przypisanych zależności i migawków danych.
• Monitorowanie kosztów treningu i oceny w różnych najemcach.
• Współpraca z inżynierami DevOps i SRE w zakresie automatyzacji CI/CD i infrastruktury.
• Przygotowywanie dokumentacji operacyjnej i materiałów do przekazania platformy.

Wymagania:

• 5+ lat doświadczenia w MLOps, inżynierii platform ML lub inżynierii infrastruktury wspierającej produkcyjne systemy ML.
• Silne umiejętności w Pythonie i doświadczenie w budowaniu narzędzi i automatyzacji na poziomie platformy.
• Praktyczne doświadczenie z Kubernetes i Docker.
• Doświadczenie w budowaniu potoków CI/CD dla obciążeń ML.
• Praktyczne doświadczenie z MLflow, Kubeflow, Airflow, Argo Workflows, Vertex Pipelines lub podobnymi platformami orkiestracyjnymi i cyklu życia ML.
• Doświadczenie z platformami ML i narzędziami cyklu życia modeli, takimi jak Vertex AI, MLflow lub Kubeflow.
• Silne zrozumienie obserwowalności ML, w tym detekcji dryfu, monitorowania rozbieżności trening/serwis oraz reakcji na incydenty.
• Doświadczenie w projektowaniu lub wspieraniu systemów ML wielo-najemcy i izolowanych środowisk modeli.
• Doświadczenie w pracy z platformami chmurowymi, preferencyjnie GCP.
• Doświadczenie z narzędziami infrastruktury jako kod, takimi jak Terraform.
• Doświadczenie z systemami Linux.
• Zrozumienie cyklu życia ML i procesów produkcyjnych.
• Poziom angielskiego co najmniej Upper-Intermediate.

Będzie dodatkowym atutem:

• Doświadczenie z feature stores i zarządzaniem spójnością cech.
• Doświadczenie z systemami masowego skanowania działającymi zgodnie z SLA świeżości.
• Znajomość platform do śledzenia eksperymentów i bramek oceny.
• Doświadczenie z lokalnym Kubernetes lub infrastrukturą bare-metal Linux.
• Znajomość DVC, lakeFS lub innych narzędzi do wersjonowania danych.
• Doświadczenie z Bigtable, Redis, Aerospike lub podobnymi bazami danych o niskiej latencji.
• Doświadczenie w optymalizacji kosztów szkolenia GPU i harmonogramowania.
• Znajomość wymagań dotyczących zgodności SOC 2, ISO 27001 lub GDPR.

PROFIL OSOBOWY:

• Silne poczucie odpowiedzialności i skupienie na niezawodności operacyjnej.
• Umiejętność pracy samodzielnej w złożonych środowiskach systemów rozproszonych.
• Silne umiejętności współpracy i komunikacji.
• Myślenie analityczne z uwagą na skalowalność i utrzymanie.
• Komfort w pracy w szybkim, zorientowanym na produkt środowisku.