Speech Data Engineer – Data Sourcing, Vendor Management & Python (M/F/NB) in Gdańsk

Jak wytrenować model, który rozumie szept, mowę bezgłośną i napiętą, skoro standardowe zbiory danych w ogóle tego nie zawierają?

Odpowiedź zaczyna się od danych: od tego, jak dobrze zostały zaprojektowane, pozyskane i sprawdzone. Jakość modeli jest ograniczona jakością korpusu.

W Etteplan szukamy Speech Data Engineera, który przejmie odpowiedzialność za pozyskiwanie danych głosowych dla technologii AI naszego klienta, od wyboru dostawców i protokołów nagrań, przez kontrolę jakości, po zgodność z GDPR.

Od ponad 40 lat łączymy wiedzę inżynierską z nowoczesnymi technologiami. Tworzymy rozwiązania z obszaru software, embedded systems i zaawansowanej inżynierii, pomagając klientom rozwijać produkty i systemy wykorzystywane w rzeczywistym świecie.

Rola w skrócie Obszar: pozyskiwanie i kontrola jakości danych głosowych (speech data operations, data engineering)

Kluczowe technologie: Python, pipeline'y audio i metadanych, wersjonowanie zbiorów danych

Główne zagadnienia: zarządzanie dostawcami danych, protokoły nagrań, kontrola jakości, GDPR i dane biometryczne, licencje i pochodzenie danych (provenance), współpraca z badaczami AI

Środowisko: zbiory danych mowy w wielu językach, zewnętrzni dostawcy nagrań, zespół badawczy AI

O projekcie i Twojej roli Dołączysz do zespołu klienta, który buduje działającą w czasie rzeczywistym, lokalnie na urządzeniu technologię audio AI. Przekształca ona szept, mowę bezgłośną i napiętą w czysty, naturalny głos, bez udziału chmury i z opóźnieniem pozwalającym na rozmowę. Technologia jest licencjonowana producentom sprzętu.

Modele klienta wymagają mowy, której standardowe zbiory danych nie obejmują. Istniejące korpusy to głównie mowa czytana i dźwięczna, nagrywana w cichych pomieszczeniach przez osoby mówiące normalnie, a produkty klienta działają na mowie szeptanej, bezgłośnej i napiętej, w warunkach rzeczywistych. Dane te pozyskiwane są przez wyspecjalizowanych partnerów w wielu językach, a Ty odpowiadasz za to, jak dobrze są zaprojektowane, pozyskane i sprawdzone.

To rola data engineera, której środek ciężkości leży w operacjach pozyskiwania danych: mniej więcej dwie trzecie operacji i jedna trzecia inżynierii. Wybierasz dostawców i zarządzasz nimi, piszesz protokoły, według których pracują, kontrolujesz jakość dostaw i prowadzisz pipeline, który sprawia, że wynik jest użyteczny. Jeśli szukasz roli czysto związanej z systemami rozproszonymi, to nie ta. Jeśli chcesz odpowiadać za zbiór danych od początku do końca i zobaczyć, jak zmienia wyniki modeli, to właśnie ta.

Dlaczego warto? Pracujesz nad problemem, którego nikt jeszcze nie rozwiązał. Nie istnieje gotowy podręcznik pozyskiwania mowy bezgłośnej w dobrej jakości i na dużą skalę, a Ty pomagasz go napisać.

Odpowiadasz za zbiór danych od początku do końca. Widzisz, jak Twoja specyfikacja, kontrola jakości i decyzje o licencjach przekładają się na wyniki modeli.

Masz krótką drogę od swojej pracy do gotowego produktu. SDK klienta trafia do urządzeń konsumenckich, a korpus decyduje o tym, jak dobrze brzmi wynik.

Pracujesz w małym zespole, przy jednym stole z badaczami i dyrektorem produktu (CPO). Osoba odpowiedzialna za dane ma bezpośredni wpływ na decyzje.

W tej roli będziesz odpowiadać za: Pozyskiwanie zbiorów danych mowy od zewnętrznych firm zajmujących się zbieraniem danych: wybór dostawców, umowy zakresowe (SOW), standardy akceptacji, harmonogramy dostaw i budżety.

Ustalanie specyfikacji paneli tak, aby każdy język był zrównoważony pod względem wieku, płci, akcentu i typu głosu, oraz sprawdzanie dostaw względem tych specyfikacji.

Dbanie o to, aby dostawcy uczciwie płacili uczestnikom i jasno ich informowali.

Pisanie protokołów nagrań dla każdego języka, według których działają dostawcy: zestawy tekstów, długość sesji i instrukcje dla mówców.

Definiowanie macierzy przechwytywania (urządzenia, typy mikrofonów, odległość i warunki hałasu), tak aby korpus odzwierciedlał rzeczywiste użycie.

Szacowanie skali każdej kolekcji: liczba mówców (w tym akcenty i emocje), godziny, zrównoważenie i koszt.

Budowę i prowadzenie ścieżki przyjmowania danych (ingest) z automatyczną walidacją częstotliwości próbkowania, kanałów, przesterowań, głośności, stosunku sygnału do szumu, aktywności głosowej i wyrównania.

Utrzymywanie schematu metadanych dla wielu języków, dostawców i sprzętu nagraniowego.

Wersjonowanie zbiorów danych, pisanie notatek o wydaniach i zapewnianie powtarzalnych podziałów bez wycieku mówców między zbiorami.

Ustalanie kryteriów akceptacji dla każdej partii i egzekwowanie ich, w tym wymuszanie poprawek, gdy partia ich nie spełnia.

Prowadzenie eksperckich sesji odsłuchowych w zakresie, którego automatyka nie oceni, oraz monitorowanie dryfu między partiami, dostawcami i lokalizacjami.

Dbanie o powtarzalność procesu tak, aby dodanie nowego języka było kwestią konfiguracji, a nie osobnym projektem.

Zarządzanie modelem zgód: jawnym, celowym, udokumentowanym i możliwym do wycofania (nagrania głosu to dane biometryczne w rozumieniu GDPR).

Zabezpieczanie licencji obejmujących wszystkie planowane zastosowania komercyjne i prowadzenie dokumentacji praw, którą da się prześledzić do każdej umowy.

Prowadzenie rejestru pochodzenia (provenance) dla każdej próbki: kto, kiedy, na jakiej zgodzie i licencji oraz do jakich celów można jej użyć.

Odpowiadanie za przechowywanie, usuwanie i wymazywanie danych w praktyce, w tym za to, co wycofanie zgody oznacza dla modelu, który został już wytrenowany.

Udział w ocenie skutków dla ochrony danych (DPIA) oraz współpracę z doradcami regulacyjnymi nad warunkami kolekcji i unijnym aktem o sztucznej inteligencji (EU AI Act).

Przekładanie potrzeb modeli na specyfikacje kolekcji, zamykanie pętli od każdego wydania zbioru do wyników ewaluacji modeli oraz wczesne informowanie zespołu badawczego, czego dane nie są w stanie wesprzeć.

Szukamy osoby, która: Ma co najmniej 4 lata doświadczenia w inżynierii danych, operacjach na danych mowy lub zarządzaniu korpusami, w tym przynajmniej jeden program kolekcji prowadzony samodzielnie od początku do końca.

Ma praktyczne doświadczenie z danymi audio na dużą skalę: formaty, częstotliwości próbkowania, głośność, wyrównanie i metadane.

Swobodnie programuje w Pythonie i sama pisze skrypt zamiast zgłaszać zadanie innym.

Ma udokumentowane doświadczenie w zarządzaniu dostawcami: pozyskiwanie i kontraktowanie partnerów zbierających dane, umowy zakresowe, budżety, kryteria akceptacji oraz trudna rozmowa, gdy partia nie spełnia wymagań.

Zna GDPR w zakresie danych biometrycznych i głosowych oraz swobodnie porusza się w licencjonowaniu danych i prawach do nich.

Potrafi odmówić drogi na skróty, która zagraża możliwości licencjonowania korpusu.

Potrafi koordynować pracę w różnych kulturach: będzie nadzorować kolekcje w językach, których nie zna, przez dostawców i lokalnych koordynatorów, nie tracąc odpowiedzialności za jakość.

Pisze tak, żeby inni mogli według tego pracować: protokoły, kryteria akceptacji i notatki o wydaniach to główne wytwory tej pracy.

Jest gotowa na okazjonalne podróże do dostawców.

Docenimy również: Wykształcenie lub doświadczenie z fonetyki lub lingwistyki, w tym praca z szeroką gamą rodzin językowych.

Doświadczenie z uznanymi korpusami mowy lub platformami zbierania danych metodą crowdsourcingu.

Doświadczenie w ewaluacji modeli mowy, takiej jak WER, MOS, MUSHRA i podobieństwo mówcy.

Doświadczenie z przechwytywaniem dźwięku na urządzeniach lub w niestandardowych konfiguracjach.

Dodatkowe języki: niderlandzki, mandaryński lub japoński.

Możesz też zajrzeć na naszą stronę internetową lub Facebooka i zobaczyć, co ciekawego się u nas dzieje!

Nasza firma wdrożyła procedury ochrony sygnalistów zgodnie z obowiązującą ustawą. Każda osoba ma prawo zgłaszać nieprawidłowości w bezpieczny sposób, a zgłoszenia są objęte pełną ochroną prawną. Więcej informacji: https://www.etteplan.com/pl/kodeks-postepowania/