Staff Data Engineer in Katowice

Venice jest wiodącą firmą zajmującą się konsumencką sztuczną inteligencją, opartą na zasadach prywatności, wolności słowa i suwerenności użytkowników. Budujemy Port City of AI, w którym miliony osób i agentów AI gromadzą się, wchodzą w interakcje i uzyskują dostęp do zaawansowanych zasobów AI na prywatnej i liberalnej podstawie.

O roli: Venice ma dużo danych. Możliwością jest ich uporządkowanie, połączenie, udostępnienie i zapewnienie ich wiarygodności. Głównym celem tej roli jest to, aby każdy w Venice mógł zapytać o nasze dane, uzyskać odpowiedź i czuć się pewnie, że odpowiedź jest poprawna. Szukamy Staff Database Engineer, który przyczyni się do architektury i technicznej podstawy tego, jak dane są strukturalizowane i wykorzystywane w Venice.

Co będziesz wnosić:

• Architektura i ewolucja infrastruktury danych Venice.
• Rozwój głębokiego zrozumienia naszych istniejących baz danych, schematów, potoków danych i zależności danych.
• Projektowanie skalowalnych modeli danych i schematów, które czynią złożone informacje intuicyjnymi i dostępnymi do zapytań.
• Określenie, jak dane z różnych systemów powinny być połączone, normalizowane i reprezentowane.
• Identyfikacja luk architektonicznych i wprowadzanie ulepszeń w całym stosie danych.

Integralność danych i zaufanie:

• Ustanowienie systemów, które zapewniają, że nasze dane są dokładne, kompletne, spójne i zrozumiałe.
• Budowanie walidacji, rekonsyliacji, testowania i monitorowania w cyklu życia danych.
• Identyfikacja i eliminacja sprzecznych definicji oraz duplikatów źródeł prawdy.
• Ustanowienie kanonicznych zbiorów danych i definicji dla raportów finansowych i kluczowych wskaźników biznesowych.
• Tworzenie jasnej linii danych, abyśmy rozumieli, skąd pochodzą liczby i jak zostały obliczone.

Środowisko operacyjne i cele infrastruktury:

• Tens of thousand SQL statements per second.
• Większość z nich to celowe transakcje pojedynczych instrukcji.
• Tysiące wpływających na bilans instrukcji na sekundę.
• Pracujemy nad jedną bazą danych PostgreSQL z replikami dla BI, starając się pozostać SQL centric tak długo, jak to możliwe.
• Planowane jest rozwiązanie nieuchronnego wzrostu pojedynczej bazy danych PostgreSQL poprzez poziome sharding na kontach.
• 5-15% wzrostu miesiąc do miesiąca w liczbie instrukcji DB i przechowywaniu.
• Znaczne zapytania SQL po stronie serwera (widoki, funkcje itp.) z niestandardowymi narzędziami testowymi.
• Dołączysz do zespołu inżynierów skoncentrowanych na SQL z wysokim przezroczystością finansową i głębokim doświadczeniem w generowaniu SQL.

Zapytalność i dostęp:

• Ułatwienie ludziom w Venice odpowiadania na pytania za pomocą danych.
• Projektowanie struktur danych zoptymalizowanych zarówno dla przypadków użycia analitycznych, jak i operacyjnych.
• Poprawa wydajności zapytań i niezawodności.
• Tworzenie intuicyjnych schematów i dokumentacji.
• Budowanie lub wspieranie warstw semantycznych i metrycznych.
• Umożliwienie zapytań opartych na AI i języku naturalnym dotyczących danych firmy.
• Ustanowienie odpowiednich uprawnień i kontroli dostępu.

Naszym celem nie jest tylko techniczne udostępnienie danych. Powinny być one zrozumiałe i godne zaufania, aby ludzie mogli je wykorzystać do podejmowania decyzji.

Co oznacza sukces:

• Krytyczne metryki mają jasne, uzgodnione definicje.
• Istnieje oczywiste źródło prawdy dla ważnych danych.
• Rozumiemy, skąd pochodzą dane i jak zostały przekształcone.
• Problemy z jakością danych są wykrywane automatycznie, a nie odkrywane na spotkaniach.
• Inżynierowie mogą pewnie budować na naszej infrastrukturze danych.
• Zespoły nieinżynieryjne mogą odpowiadać na więcej pytań bez potrzeby angażowania inżyniera do badania.
• Narzędzia AI mogą bezpiecznie i niezawodnie zapytywać dobrze zorganizowane dane firmy.
• Dwie osoby zadające to samo pytanie otrzymują tę samą odpowiedź.

Oczekiwania:

• Znaczące doświadczenie w projektowaniu i obsłudze systemów danych na dużą skalę.
• Ekspert w SQL i wiedzy o relacyjnych bazach danych, z silnym naciskiem na PostgreSQL.
• Głębokie doświadczenie w modelowaniu danych, projektowaniu schematów i architekturze baz danych.
• Silne zrozumienie integralności danych, jakości, linii danych, obserwowalności i zarządzania.
• Doświadczenie w ustanawianiu kanonicznych zbiorów danych i definicji metryk w całej firmie.
• Silne zrozumienie wydajności baz danych, indeksowania, optymalizacji i skalowalności.
• Doświadczenie w integracji danych w złożonych systemach produktowych i biznesowych.
• Umiejętność poruszania się w istniejącym środowisku danych, zrozumienia, jak ewoluowało, i przemyślanego poprawiania go bez niepotrzebnego przebudowywania wszystkiego.
• Silny osąd techniczny i umiejętność podejmowania decyzji architektonicznych przy niepełnych informacjach.
• Umiejętność komunikowania złożonych koncepcji danych w sposób jasny zarówno dla interesariuszy technicznych, jak i nietechnicznych.
• Wysoka odpowiedzialność i komfort pracy z dużą autonomią.

Punkty bonusowe:

• Doświadczenie w budowaniu warstw semantycznych, warstw metrycznych lub infrastruktury analityki samoobsługowej.
• Doświadczenie w umożliwieniu LLM lub agentom AI niezawodnego zapytania o zorganizowane dane firmy.
• Doświadczenie z danymi finansowymi, fakturowymi, przychodowymi lub innymi zestawami danych, gdzie rekonsyliacja i dokładność są krytyczne.
• Doświadczenie z architekturami danych w czasie rzeczywistym lub strumieniowych.
• Doświadczenie w AI, kryptowalutach lub szybko rozwijających się środowiskach technicznych.