W skrócie
- Zadania: Zarządzaj i rozwijaj usługi wizji komputerowej oraz pipeline do analizy wideo.
- Firma: Innowacyjna firma technologiczna z dynamiczną kulturą pracy.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Świetne możliwości kariery w środowisku opartym na dowodach i testach A/B.
- Dlaczego ta praca: Pracuj nad przełomowymi projektami w dziedzinie analizy wideo i uczenia maszynowego.
- Kwalifikacje: 3-5 lat doświadczenia w systemach ML, w tym 2 lata w wizji komputerowej.
Przewidywane wynagrodzenie mieści się w przedziale 90000 - 110000 zł za rok.
Rola polega na zarządzaniu pipeline'em rozumienia wideo - od śledzenia wielu obiektów i ich re-identyfikacji po rozpoznawanie akcji. Główne wyzwanie techniczne polega na zrównoważeniu wysokiej przepustowości, niskiej latencji inferencji GPU z nowoczesną dokładnością detekcji w ogromnych strumieniach materiałów sportowych. Będziesz odpowiedzialny za ustalanie rygorystycznych zestawów benchmarkowych oraz decydowanie, które modele podstawowe wizji trafią do produkcji.
Platforma przetwarza na żywo i nagrane wideo sportowe, aby automatycznie wydobywać metadane w czasie rzeczywistym, kluczowe momenty, statystyki graczy oraz zdarzenia związane z granicami scen. Działa w wielu ligach sportowych, opierając się na precyzyjnym analizowaniu wideo, aby wspierać automatyzację transmisji, wyszukiwanie i narzędzia analityczne.
Technologia: Główna pipeline ML jest zbudowana w Pythonie przy użyciu PyTorch do trenowania i dostrajania modeli. Inferencja GPU w produkcji jest zoptymalizowana pod kątem kosztów i latencji przy użyciu TensorRT i ONNX Runtime w ramach zdockerowanych, mikroserwisów opartych na kolejkach. FFmpeg obsługuje dekodowanie wideo w dużej skali, podczas gdy Azure (Service Bus, Blob Storage) wspiera infrastrukturę komunikacji asynchronicznej.
Obowiązki:
- Własność i poprawa usług wizji
- Zarządzanie pipeline'em rozumienia wideo, w tym detekcja obiektów, śledzenie wielu obiektów, re-identyfikacja graczy, rozpoznawanie numerów koszulek oraz rozpoznawanie tekstu na ekranie (OCR).
- Optymalizacja inferencji GPU pod kątem przepustowości i kosztów poprzez grupowanie, dostrajanie precyzji i kompilację.
- Monitorowanie jakości produkcji i latencji oraz badanie awarii i regresji.
- Ocena i testowanie nowych modeli.
- Budowanie i utrzymywanie oznaczonych benchmarków sportowych, podzielonych według sportu, ligi i typu treści.
- Definiowanie i śledzenie kluczowych metryk, w tym mAP, F1, precyzji, przypomnienia, IoU, latencji i kosztów GPU.
- Przeprowadzanie systematycznych porównań nowych modeli detekcji, śledzenia, segmentacji, re-identyfikacji i modeli podstawowych wideo.
- Pisanie notatek decyzyjnych z jasnymi rekomendacjami, kompromisami i kwestiami licencyjnymi.
- Własność zestawu regresyjnego i monitorowanie lub A/B testów, zapewniając, że każda zmiana modelu lub konfiguracji jest walidowana przed wdrożeniem.
- Śledzenie nowych publikacji, wydań modeli i rankingów oraz identyfikowanie, które rozwój zasługują na dalszą ocenę.
Wymagania:
- 3–5+ lat doświadczenia w dostarczaniu produkcyjnych systemów ML, w tym 2+ lata w wizji komputerowej, najlepiej w pracy z wideo.
- Silne umiejętności w Pythonie i PyTorch, w tym praktyczne doświadczenie w profilowaniu i optymalizacji inferencji GPU przy użyciu TensorRT i ONNX Runtime.
- Doświadczenie w co najmniej dwóch z następujących obszarów: detekcja obiektów i segmentacja (YOLO, rodzina DETR, SAM), OCR i rozpoznawanie tekstu w scenie, lub rozpoznawanie akcji w wideo i lokalizacja czasowa.
- Doświadczenie w budowaniu zestawów testowych, obliczaniu metryk oceny, takich jak mAP, F1 i temporal IoU oraz przeprowadzaniu rygorystycznych porównań modeli.
- Umiejętność krytycznej oceny nowych publikacji badawczych i kart modeli oraz reprodukcji opublikowanych wyników.
- Doświadczenie w wdrażaniu produkcyjnym z Dockerem, usługami opartymi na kolejkach i infrastrukturą GPU w chmurze.
- Doświadczenie w przetwarzaniu wideo na dużą skalę, w tym FFmpeg, potoki dekodowania wideo i próbkowanie klatek.
- Silne umiejętności komunikacyjne w piśmie, z umiejętnością dokumentowania technicznych kompromisów i formułowania jasnych rekomendacji.
Preferencje:
- Doświadczenie z Azure (Service Bus, Blob Storage) i architekturami opartymi na wiadomościach.
- Doświadczenie z modelami wizji-języka i multimodalnym rozumieniem wideo, audio i tekstu.
- Doświadczenie w dostosowywaniu modeli wizji do konkretnych dziedzin, szczególnie wideo sportowego.
- Doświadczenie w uczeniu samonadzorowanym lub generowaniu danych syntetycznych w celu obniżenia kosztów etykietowania.
- Znajomość narzędzi do adnotacji, takich jak CVAT i Label Studio, oraz doświadczenie w pracy z zespołami etykietującymi.
- Doświadczenie z wdrożeniami shadow i testami A/B.
- Znajomość komercyjnych licencji modeli.
Dlaczego warto rozważyć tę rolę:
- Bezpośrednia, nieograniczona odpowiedzialność za pełny cykl życia ML - od replikacji publikacji i tworzenia benchmarków po optymalizację GPU na żywo.
- Wpływ na produkcję na dużą skalę, gdzie optymalizacja modelu bezpośrednio obniża rzeczywiste koszty infrastruktury i poprawia latencję w przypadku danych wideo o dużej objętości.
- Wysoka rigorystyczność, środowisko inżynieryjne oparte na dowodach, które priorytetowo traktuje testy A/B, ścieżki cieniowe i walidację statystyczną ponad hype.
Machine Learning Engineer, Computer Vision – Hybrid in Warsaw – pracodawca: DOU Polska
Aura to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku zdrowotnym. Pracując z zespołem założycieli, którzy wcześniej osiągnęli sukcesy w skalowaniu firm, będziesz miał realny wpływ na rozwój produktu i strategii, a także możliwość szybkiego awansu w miarę wzrostu firmy. Oferujemy elastyczne godziny pracy, 33 dni płatnego urlopu rocznie oraz program wellness, co czyni nas idealnym miejscem dla kreatywnych profesjonalistów szukających znaczącej kariery.
