Remote Data Engineer in Warsaw

Catena to uniwersalne API dla danych telematycznych floty. Umożliwiamy ubezpieczycielom, faktorom, dostawcom TMS, brokerom, fintechom i platformom freight-tech jedną integrację do uzyskania dostępu do danych pojazdów przewoźników z każdego głównego dostawcy ELD i telematyki, zastępując dziesiątki jednorazowych połączeń. Przewoźnicy przystępują poprzez szybki, uprawniony proces, a nasi klienci natychmiast otrzymują ustandaryzowane, dane w czasie rzeczywistym na czystej, znormalizowanej warstwie.

Poszukujemy Inżyniera Oprogramowania Danych, który będzie odpowiedzialny za rurociągi, które przekształcają 248+ dostawców telematyki w jeden spójny produkt danych. Każdy dostawca modeluje ten sam pojazd inaczej: ping lokalizacji, zdarzenie godzin pracy, poziom paliwa i kod błędu przychodzą w różnym kształcie, w różnym tempie, z różnymi lukami i różnymi definicjami „teraz”. Nasi klienci tego nie widzą. Widzą jeden schemat, jeden webhook, jedno API. Zamknięcie tej luki to najtrudniejszy i najbardziej wartościowy problem inżynieryjny w Catena, nad którym będziesz pracować.

To rola praktyczna w małym zespole. Będziesz budować rurociągi do pobierania i normalizacji danych wzdłuż długiego ogona dostawców, projektować wzorce przechowywania i zapytań za naszymi API i Snowflake share oraz budować produkty danych pochodnych, które kupują nasi klienci: wykrywanie zatrzymań, zdarzenia geofence, ETA, dostępność HOS i dopasowanie transakcji paliwowych. Będziesz również pracować po stronie zapisu: Catena nie tylko odczytuje z systemów telematycznych, ale także zapisuje do nich, a ta dwukierunkowa ścieżka to coś, czego nasi klienci nie mogą uzyskać nigdzie indziej.

Obowiązki:

• Budowanie i obsługa rurociągów do pobierania danych w ramach naszych integracji dostawców telematyki, strumieniowo, pollingowo i wsadowo - z retry, ograniczeniem szybkości i zachowaniem backpressure, które każdy dostawca wymaga.
• Posiadanie warstwy normalizacji: mapowanie skrajnie niespójnych ładunków dostawców do kanonicznych modeli pojazdów, kierowców, HOS i paliwa Catena oraz obrona tego schematu w miarę dodawania nowych dostawców.
• Projektowanie wzorców przechowywania i zapytań dla danych pojazdów czasowych o dużej objętości, równoważenie opóźnienia API w czasie rzeczywistym z obciążeniami analitycznymi.
• Wysyłanie produktów danych skierowanych do klientów, wykrywanie zatrzymań i geofence, obliczanie ETA, agregaty lokalizacji, przebieg klasy IFTA - od specyfikacji po produkcję.
• Budowanie i utrzymywanie przepływów roboczych do zapisu, które przesyłają transakcje paliwowe, status DVIR i dane dyspozytorskie z powrotem do systemów dostawców, z idempotencją i ochroną pętli.
• Instrumentowanie wszystkiego: świeżość danych, kompletność pól, zdrowie dostawców i wykrywanie dryfu, abyśmy złapali uszkodzony upstream zanim zrobi to klient.
• Posiadanie jakości danych od początku do końca. W naszej branży cicha błędna lokalizacja jest gorsza niż brakująca - wydawca karty paliwowej odrzuca rzeczywistą transakcję, ubezpieczyciel źle wycenia przewoźnika.
• Bezpośrednia współpraca z zespołami inżynieryjnymi klientów, gdy pytanie dotyczące danych należy do nich, a nie do nas.

Wymagania:

• 3+ lata doświadczenia w budowaniu produkcyjnych rurociągów danych lub usług danych backendowych.
• Silna znajomość Pythona; komfort w posiadaniu usług od początku do końca, a nie tylko notatników lub DAG-ów.
• Solidne umiejętności SQL i modelowania danych relacyjnych: potrafisz rozumować o partycjonowaniu, indeksowaniu i kosztach zapytań, a nie tylko poprawności.
• Doświadczenie z pobieraniem danych w czasie rzeczywistym lub opartym na zdarzeniach oraz z operacyjną rzeczywistością zawodnych interfejsów API stron trzecich.
• Znajomość chmury na AWS.
• Debugowałeś rurociąg, który cicho produkował błędne dane, i masz opinie na temat tego, jak zapobiec temu w przyszłości.
• Jasna komunikacja pisemna, jesteśmy zdalni i domyślnie asynchroniczni.

Nasza technologia:

• Python · PostgreSQL / AWS Aurora · Snowflake · AWS (S3, Lambda, Kinesis) · webhooki i REST APIs · GitHub Actions · TypeScript na warstwie aplikacji.

Preferowane:

• Doświadczenie w telematyce, IoT, logistyce, fintech lub danych ubezpieczeniowych - wszędzie tam, gdzie dane mają fizyczną prawdę świata i ktoś podejmuje decyzję finansową na ich podstawie.
• Dane czasowe lub geolokalizacyjne w skali: geofencing, dopasowywanie map, wnioskowanie o podróżach i zatrzymaniach, indeksowanie H3 lub podobne.
• Wzorce dostarczania danych i wielo-najemców - udostępnienia Snowflake, izolacja poświadczeń dla każdego najemcy, dostęp na podstawie zgody.
• Doświadczenie w budowaniu przeciwko wielu interfejsom API stron trzecich jednocześnie, gdzie nie kontrolujesz ani schematu, ani czasu działania.
• Praca w środowisku SOC 2 lub pomoc w doprowadzeniu firmy do tego stanu.

Dlaczego Catena, dlaczego teraz:

• Startup na wczesnym etapie: wysoka odpowiedzialność, realny wpływ i miejsce przy stole.
• Bezpośrednia współpraca z kierownictwem i możliwość wyrażenia swojego zdania na temat kierunku produktu i API.
• Bycie techniczną autorytetą, na którą polegają klienci, oraz pomoc w budowaniu funkcji inżynierii sprzedaży od podstaw.
• Środowisko przyjazne zdalnie.

Catena pozyskała 8,25 miliona dolarów od Shaper Capital, Floating Point, Plug and Play, Liquid 2 oraz wiodących aniołów branżowych. Klienci już korzystają z nas w produkcji, w tym nowoczesne platformy TMS (Mastery, Optym), duże biura brokerskie oraz średnie i duże bezpośrednie przewoźnicy operujący 100–1,000+ ciężarówkami. Wielu z nich jest również inwestorami.

Wynagrodzenie:

Konkurencyjne wynagrodzenie, pełne świadczenia, akcje i dopasowanie 401k. Tylko USA, brak dostępnych sponsorów. Okazjonalne podróże na spotkania zespołowe i klientów.