Senior Data Scientist in Katowice

Let's breathe life into great tech ideas! With 3,000 people globally, Intellias is a company where benchmark technologiczne rozwiązania są tworzone. Dołącz do nas i weź udział w cyfryzacji świata.

Przegląd projektu: Dołącz do transformacyjnej inicjatywy platformy danych i AI, mającej na celu modernizację możliwości na poziomie przedsiębiorstwa i umożliwienie podejmowania decyzji w czasie rzeczywistym. Projekt dostarcza kompleksową mapę drogową obejmującą AI, MLOps, zarządzanie danymi i skalowalność platformy, wspierając przejście w kierunku operacji opartych na danych i inteligentnej automatyzacji.

Wymagania:

• PySpark & Spark SQL: Nested-JSON flattening (explode, structs), `mapInPandas` / pandas UDFs, funkcje okna dla agregatów prędkości i unikalnych zliczeń, partycjonowanie i optymalizacja wydajności
• Databricks: Unity Catalog (katalogi, schematy, uprawnienia, maski kolumn, tagi, linia czasu), lokalizacje zewnętrzne na S3, polityki klastra / obliczeń w tym GPU, Auto Loader, Delta (MERGE, podróż w czasie, VACUUM), Workflows, Repos, tajne zakresy
• AWS: S3, role IAM / profile instancji, deszyfrowanie KMS w zadaniach, Secrets Manager, podstawowa świadomość kosztów
• Pseudonimizacja w potokach: HMAC tokenizacja z kluczami per-typ, normalizacja (Unicode NFKD, case, token sort), klucze fonetyczne, nigdy nie logując surowych wartości, skryptowane usuwanie (DROP / VACUUM / zniszczenie tajemnic)
• Rozwiązywanie tożsamości (implementacja): Blocking / generowanie kandydatów z dokładnymi i przybliżonymi kluczami, tolerancja odległości edytowalnej, wyniki dopasowania, identyfikatory zastępcze, liczenie konfliktów zamiast scalania
• Przetwarzanie obrazów na dużą skalę: Uruchamianie zadania wsadowego GPU, które deszyfruje, przycina i osadza obrazy w pamięci (PyTorch / timm), PCA, LSH bucketing
• Mieszane klasteryzowanie danych: Praktyczne: `kmodes` (k-prototypy), `gower` + `kmedoids` z próbkowaniem, R `kamila` na Databricks, `StepMix` (klasa latentna), bootstrap ARI
• Selekcja cech: Wzajemna informacja, przycinanie korelacji, PCA. Można uruchomić wyszukiwanie BPSO / GA z `mealpy`
• MLOps & monitoring: M*Lflow eksperymenty i rejestr (aliasy), Monitoring Lakehouse * (metryki profilu i dryfu na tabelach Delta), alerty SQL, PSI / JS divergence
• Przekazanie: Pisze runbooki i dokumentację na poziomie README. Zostawia pojedynczy end-to-end Workflow, który ktoś inny może uruchomić

Miło widziane: Doświadczenie z AssureID / weryfikacją tożsamości JSON outputs. PyOD i podstawowe szkolenie PyTorch (aby wspierać A w VAEs w tygodniu 2).

Obowiązki:

• Ustawienie platformy: Z zespołem platformy klienta, zapewnij i skonfiguruj środowisko Databricks w chmurze klienta: katalog i uprawnienia, obliczenia (w tym GPU), tajemnice, śledzenie eksperymentów.
• Bezpieczne wprowadzanie danych: Buduj powtarzalne wprowadzanie surowych wyników weryfikacji i obrazów dokumentów: parsowanie, pseudonimizacja, kontrole jakości danych, obsługa schematów.
• Inżynieria cech na dużą skalę: Implementuj tabele cech: zadania wsadowe osadzania obrazów; dokładne i przybliżone klucze łączenia; agregaty międzytransakcyjne i prędkości; pseudonimowe rozwiązywanie tożsamości.
• Wsparcie modelowania: Implementuj metody selekcji cech i klasteryzacji mieszanych danych. Uruchom porównania modeli i testy stabilności oraz wspieraj uruchomienia treningu modeli gęstości.
• Automatyzacja: Orchestruj end-to-end pipeline jako zaplanowany, idempotentny, ponownie uruchamialny workflow.
• Monitoring: Ustaw prototyp monitorowania jakości danych i dryfu, z alertami, na tabelach cech i wyników.
• Inżynieria prywatności: Implementuj kontrole dostępu, pola pochodzenia, linię czasu i procedurę skryptowanego usuwania. Potwierdź, że żadne surowe dane osobowe nie docierają do warstwy analitycznej.
• Dokumentacja i przekazanie: Pisze runbooki i przeprowadza na żywo prezentację, aby inżynierowie mogli samodzielnie obsługiwać wszystko.