W skrócie
- Zadania: Zarządzaj pipeline'em rozumienia wideo i optymalizuj modele ML dla sportowych danych wideo.
- Firma: Innowacyjna firma technologiczna z dynamicznym zespołem.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Świetne możliwości kariery w środowisku opartym na dowodach i testach A/B.
- Dlaczego ta praca: Pracuj nad przełomowymi technologiami i wpływaj na przyszłość analizy wideo.
- Kwalifikacje: Doświadczenie w ML i wizji komputerowej, umiejętności w Pythonie i PyTorch.
Przewidywane wynagrodzenie mieści się w przedziale 135000 - 165000 zł za rok.
Pipeline do zrozumienia wideo - od śledzenia wielu obiektów i re-identyfikacji po rozpoznawanie akcji - jest Twoim zadaniem do zarządzania i skalowania. Główne wyzwanie techniczne polega na zrównoważeniu wysokiej przepustowości, niskiej latencji inferencji GPU z najnowocześniejszą dokładnością detekcji w ogromnych strumieniach materiałów sportowych.
Platforma przetwarza na żywo i nagrane wideo sportowe, aby automatycznie wydobywać metadane w czasie rzeczywistym, kluczowe momenty czasowe, statystyki graczy i zdarzenia związane z granicami sceny. Działa w wielu ligach sportowych, opierając się na precyzyjnym analizowaniu wideo, aby wspierać automatyzację transmisji, wyszukiwanie i narzędzia analityczne.
Technologia: Główna pipeline ML jest zbudowana w Pythonie przy użyciu PyTorch do trenowania i dostrajania modeli. Inferencja GPU w produkcji jest zoptymalizowana pod kątem kosztów i latencji przy użyciu TensorRT i ONNX Runtime w zdockerowanych, mikroserwisach opartych na kolejkach. FFmpeg obsługuje dekodowanie wideo w dużej skali, podczas gdy Azure (Service Bus, Blob Storage) wspiera infrastrukturę komunikacji asynchronicznej.
Co będziesz robić:
- Własność i poprawa usług wizji.
- Zarządzanie pipeline'em do zrozumienia wideo, w tym detekcja obiektów, śledzenie wielu obiektów, re-identyfikacja graczy, rozpoznawanie numerów koszulek i rozpoznawanie tekstu na ekranie (OCR).
- Optymalizacja inferencji GPU pod kątem przepustowości i kosztów poprzez grupowanie, dostosowywanie precyzji i kompilację.
- Monitorowanie jakości produkcji i latencji oraz badanie awarii i regresji.
- Ocena i testowanie nowych modeli.
- Budowanie i utrzymywanie oznakowanych benchmarków sportowych, podzielonych według sportu, ligi i typu treści.
- Definiowanie i śledzenie kluczowych metryk, w tym mAP, F1, precyzji, przypomnienia, IoU, latencji i kosztów GPU.
- Przeprowadzanie systematycznych porównań nowych modeli detekcji, śledzenia, segmentacji, re-identyfikacji i modeli bazowych wideo.
- Pisanie notatek decyzyjnych z jasnymi rekomendacjami, kompromisami i kwestiami licencyjnymi.
- Własność zestawu regresyjnego i testów shadow lub A/B, zapewniając, że każda zmiana modelu lub konfiguracji jest walidowana przed wdrożeniem.
- Śledzenie nowych publikacji, wydań modeli i rankingów oraz identyfikowanie, które rozwój zasługują na dalszą ocenę.
Oczekiwania:
- 3–5+ lat doświadczenia w dostarczaniu produkcyjnych systemów ML, w tym 2+ lata w wizji komputerowej, najlepiej w pracy z wideo.
- Silne umiejętności w Pythonie i PyTorch, w tym praktyczne doświadczenie w profilowaniu i optymalizacji inferencji GPU przy użyciu TensorRT i ONNX Runtime.
- Doświadczenie w co najmniej dwóch z następujących obszarów: detekcja obiektów i segmentacja (YOLO, rodzina DETR, SAM), OCR i rozpoznawanie tekstu w scenie, lub rozpoznawanie akcji w wideo i lokalizacja czasowa.
- Doświadczenie w budowaniu zestawów testowych, obliczaniu metryk oceny, takich jak mAP, F1 i temporal IoU oraz przeprowadzaniu rygorystycznych porównań modeli.
- Umiejętność krytycznej oceny nowych publikacji badawczych i kart modeli oraz reprodukcji opublikowanych wyników.
- Doświadczenie w wdrażaniu produkcyjnym z Dockerem, usługami opartymi na kolejkach i infrastrukturą GPU w chmurze.
- Doświadczenie w przetwarzaniu wideo na dużą skalę, w tym FFmpeg, potoki dekodowania wideo i próbkowanie klatek.
- Silne umiejętności komunikacyjne w piśmie, z umiejętnością dokumentowania technicznych kompromisów i formułowania jasnych rekomendacji.
Miłe do posiadania:
- Doświadczenie z Azure (Service Bus, Blob Storage) i architekturami opartymi na wiadomościach.
- Doświadczenie z modelami wizji-języka i multimodalnym rozumieniem wideo, audio i tekstu.
- Doświadczenie w dostosowywaniu modeli wizji do konkretnych dziedzin, szczególnie wideo sportowego.
- Doświadczenie w uczeniu samonadzorowanym lub generowaniu danych syntetycznych w celu obniżenia kosztów etykietowania.
- Znajomość narzędzi do adnotacji, takich jak CVAT i Label Studio, oraz doświadczenie w pracy z zespołami etykietującymi.
- Doświadczenie z wdrożeniami shadow i testami A/B.
- Znajomość komercyjnych licencji modeli.
Dlaczego warto rozważyć tę rolę:
- Bezpośrednia, nieograniczona odpowiedzialność za pełny cykl życia ML - od replikacji publikacji i tworzenia benchmarków po optymalizację GPU na żywo.
- Wpływ na produkcję na dużą skalę, gdzie optymalizacja Twojego modelu bezpośrednio obniża rzeczywiste koszty infrastruktury i poprawia latencję w przypadku danych wideo o dużym wolumenie.
- Wysoka rigorystyczna, oparta na dowodach środowisko inżynieryjne, które priorytetowo traktuje testy A/B, ścieżki cieniowe i walidację statystyczną ponad hype.
Machine Learning Engineer, Computer Vision in Warsaw – pracodawca: Newxel
Newxel to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku międzynarodowym. Pracując w Europie, będziesz częścią zespołu, który kształtuje przyszłość finansów i prawa w firmie, a także korzystasz z elastycznego podejścia do pracy oraz wsparcia w zakresie szkoleń i rozwoju umiejętności. Nasza kultura pracy opiera się na współpracy, innowacyjności i dążeniu do doskonałości, co czyni nas idealnym miejscem dla liderów pragnących wprowadzać zmiany i osiągać sukcesy.
