Machine Learning Engineer in Computer Vision in Warsaw

Pipeline do zrozumienia wideo – od śledzenia wielu obiektów i ponownej identyfikacji po rozpoznawanie akcji – jest Twoim zadaniem do zarządzania i skalowania. Główne wyzwanie techniczne polega na zrównoważeniu wysokiej przepustowości, niskiej latencji inferencji GPU z najnowocześniejszą dokładnością detekcji w ogromnych strumieniach materiałów sportowych.

Zadania:

• Właściciel pipeline'u do zrozumienia wideo, w tym detekcja obiektów, śledzenie wielu obiektów, ponowna identyfikacja graczy, rozpoznawanie numerów na koszulkach oraz rozpoznawanie tekstu na ekranie (OCR).
• Właściciel rozpoznawania wydarzeń i akcji, w tym lokalizacja czasowa kluczowych momentów, detekcja granic ujęć i scen, detekcja powtórek oraz klasyfikacja widoków kamery.
• Optymalizacja inferencji GPU pod kątem przepustowości i kosztów poprzez grupowanie, dostosowywanie precyzji i kompilację.
• Monitorowanie jakości produkcji i latencji oraz badanie awarii i regresji.
• Budowanie i utrzymywanie oznaczonych benchmarków sportowych, podzielonych według sportu, ligi i typu treści.
• Definiowanie i śledzenie kluczowych metryk, w tym mAP, F1, precyzji, przypomnienia, IoU, latencji i kosztów GPU.
• Przeprowadzanie systematycznych porównań nowych modeli detekcji, śledzenia, segmentacji, ponownej identyfikacji i modeli bazowych wideo.
• Reprodukcja opublikowanych wyników na naszych danych.
• Pisanie notatek decyzyjnych z jasnymi rekomendacjami, kompromisami i kwestiami licencyjnymi.
• Właściciel zestawu regresyjnego i ścieżek testowych shadow lub A/B, zapewniając, że każda zmiana modelu lub konfiguracji jest walidowana przed wdrożeniem.
• Śledzenie nowych publikacji, wydania modeli i rankingów oraz identyfikowanie, które rozwój zasługują na dalszą ocenę.

Wymagania:

• 3–5+ lat doświadczenia w dostarczaniu produkcyjnych systemów ML, w tym 2+ lata w dziedzinie wizji komputerowej, najlepiej w pracy z wideo.
• Silne umiejętności w Pythonie i PyTorch, w tym praktyczne doświadczenie w profilowaniu i optymalizacji inferencji GPU przy użyciu TensorRT i ONNX Runtime.
• Praktyczne doświadczenie w co najmniej dwóch z następujących obszarów: detekcja obiektów i segmentacja (YOLO, rodzina DETR, SAM), OCR i rozpoznawanie tekstu w scenie, lub rozpoznawanie akcji w wideo i lokalizacja czasowa.
• Doświadczenie w budowaniu zestawów testowych, obliczaniu metryk oceny, takich jak mAP, F1 i temporal IoU oraz przeprowadzaniu rygorystycznych porównań modeli.
• Umiejętność krytycznej oceny nowych publikacji badawczych i kart modeli oraz reprodukcji opublikowanych wyników.
• Doświadczenie w wdrażaniu produkcyjnym z Dockerem, usługami opartymi na kolejkach i infrastrukturą GPU w chmurze.
• Doświadczenie w przetwarzaniu wideo na dużą skalę, w tym FFmpeg, potoki dekodowania wideo i próbkowanie klatek.
• Silne umiejętności komunikacyjne w piśmie, z umiejętnością dokumentowania technicznych kompromisów i formułowania jasnych rekomendacji.

Preferencje:

• Doświadczenie z Azure (Service Bus, Blob Storage) i architekturami opartymi na wiadomościach.
• Doświadczenie z modelami wizji-języka i multimodalnym rozumieniem wideo, audio i tekstu.
• Doświadczenie w dostosowywaniu modeli wizji do konkretnych dziedzin, szczególnie wideo sportowego.
• Doświadczenie z uczeniem samonadzorowanym lub generowaniem danych syntetycznych w celu obniżenia kosztów etykietowania.
• Znajomość narzędzi do adnotacji, takich jak CVAT i Label Studio, oraz doświadczenie w pracy z zespołami zajmującymi się etykietowaniem.
• Doświadczenie z wdrożeniami shadow i testami A/B.
• Znajomość komercyjnych licencji modeli.

Warunki:

• Bezpośrednia, nieograniczona odpowiedzialność za pełny cykl życia ML – od replikacji artykułów i tworzenia benchmarków po optymalizację GPU na żywo.
• Wpływ na produkcję na dużą skalę, gdzie optymalizacja modelu bezpośrednio obniża rzeczywiste koszty infrastruktury i poprawia latencję w przypadku danych wideo o dużej objętości.
• Wysoka rygorystyczność, środowisko inżynieryjne oparte na dowodach, które priorytetowo traktuje testy A/B, ścieżki shadow i walidację statystyczną nad hype.