Data Engineer with Snowflake in Warsaw

Nasze wymagania:

• Umiejętność pracy częściowo w strefie czasowej USA (podczas onboardingu: rozmowy do 22:00 CET kilka razy w tygodniu; później: okazjonalnie do 19:00 CET)
• 3+ lata doświadczenia w inżynierii danych, z Snowflake jako główną platformą danych.
• Udokumentowane doświadczenie w optymalizacji magazynów i przechowywania Snowflake pod kątem wydajności i efektywności kosztowej w środowiskach produkcyjnych.
• Doświadczenie w budowaniu i optymalizacji pipeline'ów przetwarzających bardzo duże zestawy danych, w tym pełne historie transakcji zamiast próbek.
• Umiejętności SQL i Python, z możliwością zarządzania pipeline'ami danych od początku do końca.

Mile widziane:

• Doświadczenie w pracy z danymi finansowymi, rynkowymi, na poziomie transakcji lub danymi szeregów czasowych.
• Znajomość metryk dokładności i śledzenia, takich jak korelacja i średni błąd bezwzględny (MAE).
• Doświadczenie w integracji i utrzymywaniu zewnętrznych źródeł danych lub pracy z umowami licencyjnymi i udostępnianiem danych.
• Praktyka z dbt lub podobnymi frameworkami transformacji danych na Snowflake.

O projekcie:

Szukamy wysoko wykwalifikowanego i doświadczonego Senior Data Engineer, który dołączy do naszego zespołu. Będziesz pracować z jednym z największych dostawców informacji o konsumentach w USA. W tej roli zbudujesz i zoptymalizujesz pipeline oceny danych w Snowflake dla projektu analizy danych finansowych. Celem jest niezależna ocena jakości i wartości dodanej nowych zestawów danych transakcji kart kredytowych poprzez porównanie szacunków przychodów firmy z raportowanymi wynikami finansowymi, zapewniając jednocześnie, że proces jest skalowalny, efektywny kosztowo i zautomatyzowany. Będziesz odpowiedzialny za pipeline od początku do końca, od przetwarzania danych i zbierania prawdziwych danych po walidację jakości i bieżące oceny zestawów danych.

Godziny pracy: Dostępność między 17:00 a 22:00 CET jest niezbędna podczas onboardingu; później standardowe godziny kończą się między 17:00 a 19:00 CET (w zależności od dnia).

Zakres obowiązków:

• Budowanie i utrzymywanie pipeline'u oceny opartego na Snowflake w celu pomiaru dokładności nowych zestawów danych, zarówno niezależnie, jak i w połączeniu z istniejącymi danymi.
• Implementacja metryk oceny, takich jak korelacja i średni błąd bezwzględny (MAE), w celu porównania szacowanych przychodów firmy z raportowanymi wynikami.
• Optymalizacja wydajności Snowflake i kosztów obliczeniowych poprzez dobór rozmiaru magazynu, klastrowanie, materializację, optymalizację zapytań i przycinanie danych.
• Rozwój zautomatyzowanych procesów zbierania, mapowania, walidacji i utrzymywania prawdziwych danych przychodowych firmy.
• Implementacja kontroli jakości danych, zasad uzgadniania i monitorowania w celu identyfikacji niespójności przed ich wpływem na raportowanie downstream.
• Ocena nowych zestawów danych w miarę ich dostępności oraz badanie problemów z jakością danych.
• Posiadanie pipeline'u od początku do końca, podejmowanie decyzji technicznych i dostosowywanie implementacji w miarę ewolucji wymagań projektu.
• Budowanie na istniejących prototypach i wcześniejszej pracy w celu dostarczenia niezawodnego rozwiązania gotowego do produkcji.

Oferujemy:

• Prywatna opieka medyczna
• Karta Multisport
• Przyjazna, nieformalna atmosfera i bezpośredni kontakt ze wszystkimi w firmie
• Nowoczesne technologie