W skrócie
- Zadania: Buduj i optymalizuj potoki danych w Snowflake dla projektów analityki finansowej.
- Firma: Dynamiczna firma zajmująca się danymi, oferująca przyjazną atmosferę.
- Benefity: Prywatna opieka medyczna, karta Multisport i nowoczesne technologie.
- Pozostałe informacje: Elastyczne godziny pracy z możliwością pracy zdalnej.
- Dlaczego ta praca: Pracuj nad wysokiej jakości projektami i wpływaj na decyzje biznesowe.
- Kwalifikacje: 6+ lat doświadczenia w inżynierii danych i umiejętności SQL oraz Python.
Przewidywane wynagrodzenie mieści się w przedziale 63000 - 77000 zł za rok.
Nasze wymagania:
- Możliwość pracy częściowo w strefie czasowej USA (podczas onboardingu: rozmowy do 22:00 CET kilka razy w tygodniu; później: do 17/18/19 CET)
- 6+ lat doświadczenia w inżynierii danych, z Snowflake jako główną platformą danych.
- Udokumentowane doświadczenie w optymalizacji magazynów i przechowywania Snowflake pod kątem wydajności i efektywności kosztowej w środowiskach produkcyjnych.
- Doświadczenie w budowaniu i optymalizacji pipeline'ów przetwarzających bardzo duże zestawy danych, w tym pełne historie transakcji zamiast próbek.
- Silne umiejętności SQL i Python, z możliwością zarządzania pipeline'ami danych od początku do końca.
- Praktyczne doświadczenie w inżynierii jakości danych, w tym walidacji, uzgadnianiu, monitorowaniu i zapewnieniu ciągłej niezawodności danych.
Mile widziane:
- Doświadczenie w pracy z danymi finansowymi, rynkowymi, na poziomie transakcji lub danymi szeregów czasowych.
- Znajomość metryk dokładności i śledzenia, takich jak korelacja i średni błąd bezwzględny (MAE).
- Doświadczenie w integracji i utrzymywaniu zewnętrznych źródeł danych lub pracy z umowami licencyjnymi i udostępnianiem danych.
- Praktyka z dbt lub podobnymi frameworkami transformacji danych na Snowflake.
O projekcie:
Poszukujemy wysoko wykwalifikowanego i doświadczonego Senior Data Engineer do naszego zespołu. Będziesz pracować z jednym z największych dostawców informacji o konsumentach w USA. W tej roli zbudujesz i zoptymalizujesz pipeline oceny danych w Snowflake dla projektu analizy danych finansowych. Celem jest niezależna ocena jakości i wartości dodanej nowych zestawów danych transakcji kart kredytowych poprzez porównanie szacunków przychodów firmy z raportowanymi wynikami finansowymi, zapewniając jednocześnie, że proces jest skalowalny, efektywny kosztowo i zautomatyzowany. Będziesz odpowiedzialny za pipeline od początku do końca, od przetwarzania danych i zbierania prawdziwych danych po walidację jakości i bieżące oceny zestawów danych.
Zakres obowiązków:
- Budowanie i utrzymywanie pipeline'u oceny opartego na Snowflake w celu pomiaru dokładności nowych zestawów danych, zarówno niezależnie, jak i w połączeniu z istniejącymi danymi.
- Implementacja metryk oceny, takich jak korelacja i średni błąd bezwzględny (MAE), w celu porównania szacowanych przychodów firmy z raportowanymi wynikami.
- Optymalizacja wydajności Snowflake i kosztów obliczeniowych poprzez dobór rozmiaru magazynu, klastrowanie, materializację, optymalizację zapytań i przycinanie danych.
- Rozwój zautomatyzowanych procesów zbierania, mapowania, walidacji i utrzymywania prawdziwych danych przychodów firmy.
- Implementacja kontroli jakości danych, zasad uzgadniania i monitorowania w celu identyfikacji niespójności przed ich wpływem na raportowanie downstream.
- Ocena nowych zestawów danych w miarę ich dostępności oraz badanie problemów z jakością danych.
- Posiadanie pipeline'u od początku do końca, podejmowanie decyzji technicznych i dostosowywanie implementacji w miarę ewolucji wymagań projektu.
- Budowanie na istniejących prototypach i wcześniejszych pracach w celu dostarczenia niezawodnego rozwiązania gotowego do produkcji.
Oferujemy:
- Prywatną opiekę medyczną
- Kartę Multisport
- Przyjazną, nieformalną atmosferę i bezpośredni kontakt ze wszystkimi w firmie
- Nowoczesne technologie
Senior Data Engineer in Warsaw – pracodawca: ACAISOFT POLAND Sp. z o.o.
ACAISOFT POLAND Sp. z o.o. to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku pracy. Nasza kultura opiera się na współpracy i innowacyjności, a praca zdalna pozwala na elastyczność, jednocześnie umożliwiając bliską współpracę z zespołem w Warszawie. Oferujemy konkurencyjne wynagrodzenie oraz wsparcie w realizacji ambitnych projektów dla klientów z USA, co czyni nas idealnym miejscem dla specjalistów pragnących rozwijać swoje umiejętności w obszarze inżynierii danych.
Dane kontaktowe:
Zespół rekrutacyjny ACAISOFT POLAND Sp. z o.o.
