W skrócie
- Zadania: Projektuj i buduj potężne pipeline'y danych, które napędzają analizy w zespole inwestycyjnym.
- Firma: Dynamiczna firma inwestycyjna z innowacyjnym podejściem do danych.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Świetna okazja do rozwoju kariery w szybko zmieniającym się środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na decyzje inwestycyjne.
- Kwalifikacje: 5+ lat doświadczenia w inżynierii danych oraz umiejętności programowania w PySpark i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Projekt opis
Szukamy doświadczonego, praktycznego inżyniera danych, który potrafi projektować, budować i obsługiwać potoki danych oraz modele, które wspierają analizy i aplikacje w zespołach inwestycyjnych oraz w biurze środkowym/tylnym. Idealny kandydat ma znajomość rynków finansowych (papierów wartościowych, cen, działań korporacyjnych, pozycji/udziałów) i odnajduje się w niejednoznacznych środowiskach - proaktywnie kształtując rozwiązania, a nie czekając na zgłoszenia. Będziesz odpowiedzialny za dane od początku do końca: od pobierania źródeł zewnętrznych i wewnętrznych, po modelowanie w naszym lakehouse, aż po uczynienie danych odkrywalnymi, niezawodnymi i efektywnymi kosztowo. Będziesz ściśle współpracować z analitykami biznesowymi/menedżerami projektów oraz kwantami, przewidywać potrzeby downstream i proponować pragmatyczne architektury, które równoważą szybkość, zarządzanie i skalowalność.
Obowiązki
- Uczestnictwo w sesjach wyjaśniania wymagań i planowania sprintów.
- Projektowanie rozwiązań technicznych i ich wdrażanie, w tym ETL Pipelines - Budowanie solidnych potoków danych w PySpark do ekstrakcji, transformacji, używając PySpark.
- Optymalizacja procesów ETL - Udoskonalanie i dostosowywanie istniejących procesów ETL dla lepszej wydajności, skalowalności i niezawodności.
- Pisanie testów jednostkowych i integracyjnych.
- Wsparcie zespołu QA w procesie akceptacji.
- Rozwiązywanie incydentów PROD jako inżynier 3. linii wsparcia.
Umiejętności
- Musisz mieć:
- Dyplom licencjata (informatyka, inżynieria, systemy informacyjne lub pokrewna dziedzina).
- 5+ lat doświadczenia w rolach inżyniera danych (elastyczne w zależności od głębokości umiejętności).
- Silne doświadczenie praktyczne z Databricks w środowiskach produkcyjnych (warunek wstępny).
- Silne umiejętności programowania w PySpark (konieczne) oraz silne SQL (konieczne).
- Udokumentowane doświadczenie z deklaratywnymi potokami / orkiestracją potoków na Databricks (warunek wstępny).
- Silne zrozumienie podstaw inżynierii danych: wzorce pobierania, projektowanie transformacji, przetwarzanie inkrementalne, testowanie, optymalizacja wydajności.
- Doświadczenie w dostarczaniu zestawów danych gotowych do produkcji z odpowiednimi kontrolami operacyjnymi (monitorowanie, rozwiązywanie problemów, wzorce niezawodności).
- Doświadczenie z nowoczesnymi koncepcjami Lakehouse (tabele Delta, strategie optymalizacji, pomijanie plików, świadomość metadanych/statystyk).
- Znajomość praktyk zarządzania danymi: katalogowanie, dokumentacja, słownik biznesowy/terminy, linia życia.
- Doświadczenie w pracy w środowiskach przedsiębiorstw z potokami CI/CD i uporządkowanymi procesami wydania.
- Znajomość zewnętrznych źródeł danych rynkowych (np. Bloomberg, Refinitiv, MSCI, FactSet) lub podobnych wzorców masteringu z wielu źródeł.
- Miło widziane:
- Silne doświadczenie praktyczne w Palantir Foundry. Udokumentowane doświadczenie z potokami Foundry, ontologiami, linią życia danych, transformacjami i zarządzaniem platformą.
- Udokumentowane doświadczenie w migracji z Palantir do Databricks. Doświadczenie w prowadzeniu lub realizacji migracji platformy, w tym konwersji potoków, przeprojektowania modeli danych i przełączenia produkcji.
- Znajomość Dynatrace lub Datadog do obserwowalności systemu i monitorowania.
- Certyfikacja Databricks, certyfikaty chmurowe (Azure/AWS) lub certyfikaty architektury danych w przedsiębiorstwie.
Senior Data Engineer in Katowice – pracodawca: Data Business GmbH
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku międzynarodowym. Pracując jako Senior Data Analyst w zespole odpowiedzialnym za globalne raportowanie regulacyjne, będziesz miał okazję współpracować z ekspertami z różnych krajów, co sprzyja wymianie wiedzy i doświadczeń. Oferujemy elastyczne godziny pracy, konkurencyjne wynagrodzenie oraz wsparcie w dalszym kształceniu, co czyni nas idealnym miejscem dla osób poszukujących satysfakcjonującej kariery w branży finansowej.
