W skrócie
- Zadania: Buduj i zarządzaj potokami danych dla analityki i treningu modeli.
- Firma: Innowacyjna firma zajmująca się danymi z otwartą kulturą pracy.
- Benefity: Elastyczne godziny pracy, możliwość pracy zdalnej oraz rozwój zawodowy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami szybkiego rozwoju kariery.
- Dlaczego ta praca: Pracuj z danymi na dużą skalę i wpływaj na decyzje firmy.
- Kwalifikacje: 4+ lata doświadczenia w inżynierii danych oraz umiejętności w SQL i Pythonie.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Dołącz do Nous, aby budować i zarządzać potokami danych wspierającymi nasze analizy i trening modeli. Rola ta koncentruje się na długoterminowych danych agentowych w skali, przekształcając miliony wieloetapowych interakcji warunkowanych narzędziami w wiarygodne zbiory danych, którym cała firma może zaufać. Praca zdalna, otwarta na dowolną strefę czasową z istotnym pokryciem godzinowym z godzinami pracy w USA.
Obowiązki:
- Budowanie, obsługa i ciągłe doskonalenie potoków danych, które zasilają analizy i trening modeli.
- Dostarczanie wiarygodnych analiz wewnętrznych, aby zespoły w Nous mogły podejmować decyzje na podstawie własnych danych.
- Przygotowywanie długoterminowych danych agentowych w strukturalne, dobrze udokumentowane zbiory danych gotowe do analizy i treningu.
- Wybór podejść ETL/ELT w zależności od możliwości docelowych, powtarzalności, opóźnienia i kosztów oraz wyjaśnienie kompromisów związanych z każdym wyborem.
- Posiadanie operacji potoków w produkcji, w tym awarii, ponownych uruchomień i uzupełnień, oraz debugowanie problemów w różnych zadaniach, przechowywaniu, uprawnieniach i konsumentach downstream.
- Projektowanie i rozwijanie schematów, formatów przechowywania i modeli danych w miarę zmieniających się potrzeb.
- Budowanie pamięciooszczędnego przetwarzania, które skalowalnie wykorzystuje strumieniowanie i partycjonowanie, oraz rozpoznawanie, kiedy obciążenie przekroczyło możliwości pojedynczej maszyny.
- Jasna komunikacja na temat lokalizacji danych, ich pochodzenia, jakości, ograniczeń i przydatności do użycia zarówno dla inżynierów, jak i osób niebędących inżynierami.
Wymagania:
- 4+ lata doświadczenia w inżynierii danych, budowaniu i obsłudze produkcyjnych potoków danych.
- Silne podstawy w SQL, modelowaniu danych oraz praktycznym projektowaniu i ewolucji schematów.
- Dogłębne zrozumienie formatów przechowywania i typów baz danych oraz sytuacji, w których każdy z nich pasuje.
- Praktyczny model stosu danych: pozyskiwanie, przechowywanie, transformacja, orkiestracja, katalogowanie i serwowanie oraz gdzie należą odpowiedzialności w każdej warstwie.
- Silne umiejętności w Pythonie oraz solidne umiejętności w shellu do operacji wsadowych i przechowywania.
- Doświadczenie w chmurze z przechowywaniem obiektów, obliczeniami wsadowymi oraz zarządzaniem tożsamością i dostępem.
- Doświadczenie produkcyjne z co najmniej jednym systemem orkiestracji przepływu pracy, takim jak Airflow, Dagster, Prefect lub równoważnym rozwiązaniem wewnętrznym.
- Instynkt dotyczący jakości danych: pytasz „czy dane są dobre?”, a nie tylko „czy potok działa?”
- Rozległe korzystanie z narzędzi wspomagających rozwój AI, z dyscyplinarnym przeglądem tego, co te narzędzia produkują.
Preferowane:
- Doświadczenie w pracy z danymi agentowymi lub danymi generowanymi przez LLM, w tym strukturalnymi, wieloetapowymi interakcjami warunkowanymi narzędziami.
- Doświadczenie w budowaniu potoków danych do treningu modeli.
- Doświadczenie w przetwarzaniu zbiorów danych w skali milionów interakcji lub więcej.
- Tło w firmach zajmujących się infrastrukturą danych, obserwowalnością lub danymi AI.
Data Engineer in Katowice – pracodawca: Nous Research
Nous to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku pracy. Nasza kultura opiera się na współpracy i innowacyjności, co pozwala pracownikom na samodzielne podejmowanie decyzji oraz rozwijanie swoich umiejętności w obszarze inżynierii danych. Pracując z nami, będziesz miał dostęp do nowoczesnych narzędzi i technologii, a także elastyczność pracy w dowolnej strefie czasowej z istotnym pokryciem godzinowym z USA.
