Data Engineer (GCP) in Kraków

Capco to globalna firma konsultingowa w dziedzinie technologii i zarządzania, która pomaga instytucjom finansowym w rozwiązywaniu wyzwań w obszarze bankowości, płatności, rynków kapitałowych, zarządzania majątkiem i aktywami.

Zakres obowiązków:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych oraz rozwiązań do przetwarzania danych.
• Rozwój procesów transformacji danych i przepływów przetwarzania przy użyciu Pythona i Apache Spark.
• Praca z dużymi zbiorami danych w rozproszonych środowiskach przy użyciu Hadoop i pokrewnych technologii.
• Budowanie i wspieranie rozwiązań opartych na chmurze na platformie Google Cloud (GCP).
• Rozwój niezawodnych procesów pobierania danych z wielu systemów źródłowych.
• Implementacja transformacji danych, reguł walidacji i kontroli jakości danych.
• Rozwiązywanie problemów z potokami danych i wsparcie optymalizacji wydajności.
• Praca w środowiskach opartych na Linuksie, w tym skrypty, wdrożenia i działania operacyjne.
• Współpraca z inżynierami danych, architektami, analitykami i innymi interesariuszami projektu w celu przetłumaczenia wymagań biznesowych na rozwiązania techniczne.
• Udział w przeglądach kodu oraz przestrzeganie najlepszych praktyk inżynierii oprogramowania i inżynierii danych.
• Tworzenie i utrzymywanie dokumentacji technicznej obejmującej przepływy danych, zależności, konfiguracje i procedury operacyjne.
• Wsparcie wdrożenia, testowania, stabilizacji i bieżącego utrzymania rozwiązań danych.

Wymagania:

• 2–4+ lat doświadczenia komercyjnego w inżynierii danych lub podobnej roli.
• Dobre umiejętności programistyczne w Pythonie.
• Praktyczne doświadczenie z Apache Spark, w tym budowanie i utrzymywanie zadań przetwarzania danych.
• Doświadczenie w pracy z Hadoop lub ekosystemami przetwarzania danych w rozproszeniu.
• Dobra znajomość systemu Linux i środowisk wiersza poleceń.
• Doświadczenie komercyjne z Google Cloud Platform (GCP) i odpowiednimi usługami danych.
• Dobre zrozumienie procesów ETL/ELT, potoków danych i koncepcji transformacji danych.
• Znajomość SQL i koncepcji danych relacyjnych.
• Zrozumienie jakości danych, monitorowania i praktyk rozwiązywania problemów.
• Znajomość Gita i nowoczesnych praktyk rozwoju oprogramowania.
• Umiejętność efektywnej pracy w środowisku Agile i współpracy z rozproszonymi zespołami.
• Dobre umiejętności komunikacyjne w języku angielskim na poziomie co najmniej B2.

Preferencje:

• Doświadczenie z usługami GCP, takimi jak BigQuery, Cloud Storage, Dataproc, Dataflow lub Pub/Sub.
• Doświadczenie w obszarze finansów/bankowości.
• Doświadczenie z narzędziami orkiestracyjnymi, takimi jak Apache Airflow.
• Znajomość procesów CI/CD dla rozwiązań danych.
• Znajomość modelowania danych i koncepcji hurtowni danych.
• Doświadczenie w pracy z klientami z sektora usług finansowych lub bankowości.
• Znajomość technologii konteneryzacji, takich jak Docker lub Kubernetes.

Warunki:

• Umowa B2B.
• Innowacyjne inicjatywy AI i automatyzacji dla wiodących instytucji finansowych.