W skrócie
- Zadania: Twórz i utrzymuj nowoczesną platformę analityczną dla ING, zapewniającą ciągłość działania.
- Firma: ING - innowacyjna firma finansowa z dynamicznym zespołem.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Możliwość pracy w nowoczesnym środowisku z szansą na szybki rozwój kariery.
- Dlaczego ta praca: Pracuj nad kluczowymi projektami, które mają realny wpływ na biznes.
- Kwalifikacje: 4+ lata doświadczenia w inżynierii danych lub pokrewnych dziedzinach.
Opis: Dołączysz do zespołu budującego platformę VISTA (Data Analytics) Fallback, strategiczną inicjatywę skoncentrowaną na zapewnieniu odporności operacyjnej i ciągłości biznesowej dla ekosystemu danych i analityki ING. Platforma zapewnia możliwości awaryjne dla krytycznych obciążeń analitycznych i raportowych, wykorzystując nowoczesne technologie lakehouse i platformy danych. Rozwiązanie zostało zaprojektowane w celu umożliwienia szybkiej regeneracji i kontynuacji działania kluczowych procesów biznesowych w sytuacjach kryzysowych.
Zadania:
- projektowanie, budowanie i utrzymywanie platformy Fallback Data Analytics ING
- tworzenie odpornych możliwości platformy danych wspierających krytyczne obciążenia biznesowe podczas scenariuszy odzyskiwania po awarii
- rozwijanie i obsługiwanie rozwiązań opartych na Apache Spark, Apache Airflow, Apache Iceberg, Trino oraz technologiach przechowywania obiektów
- budowanie i utrzymywanie możliwości przetwarzania danych, orkiestracji, przechowywania i zarządzania metadanymi
- wdrażanie mechanizmów replikacji, synchronizacji, uzgadniania i odzyskiwania krytycznych zbiorów danych
- budowanie i optymalizacja potoków analitycznych i wsadowych przy użyciu nowoczesnych technologii chmurowych i danych
- poprawa widoczności platformy poprzez monitorowanie, logowanie, alertowanie i praktyki gotowości operacyjnej
- zapewnienie niezawodności, bezpieczeństwa, możliwości odzyskiwania i odporności operacyjnej platformy
- wdrażanie możliwości tworzenia kopii zapasowych, przywracania, odzyskiwania po awarii i ciągłości biznesowej
- współpraca z zespołami platformy, infrastruktury, bezpieczeństwa i inżynierii danych w ING
- wnoszenie wkładu w decyzje architektoniczne, standardy inżynieryjne, inicjatywy automatyzacyjne i mapy techniczne
- uczestnictwo w działaniach wsparcia, gotowości operacyjnej i dyżurach, gdy jest to wymagane
Wymagania:
- posiadać 4+ lata doświadczenia w inżynierii danych, inżynierii platform, inżynierii infrastruktury lub inżynierii niezawodności witryn
- mieć praktyczne doświadczenie w co najmniej jednej z następujących dziedzin oraz praktyczną wiedzę na temat związanych technologii:
- Przetwarzanie i analityka danych: Apache Spark, DBT, Python, SQL, BigQuery, Trino
- Data Lake i przechowywanie: Apache Iceberg, Hive Metastore, MinIO/S3-kompatybilne przechowywanie obiektów, Google Cloud Storage
- Platforma i infrastruktura: Kubernetes, Docker, Linux, Keycloak, Ceph, Ingress / Networking
- Niezawodność i operacje: Monitorowanie, Logowanie, Alertowanie, Replikacja danych, Kopie zapasowe i przywracanie, Odzyskiwanie po awarii
- mieć doświadczenie w budowaniu, obsługiwaniu lub wspieraniu nowoczesnych platform danych i rozproszonych środowisk przetwarzania danych
- mieć praktyczne doświadczenie z Google Cloud Platform (GCP) i technologiami natywnymi dla chmury
- mieć doświadczenie w automatyzacji, CI/CD i praktykach infrastruktury jako kodu
Będzie plusem:
- platformy orkiestracyjne oparte na Airflow
- Keycloak, Ceph lub usługi platformowe na dużą skalę
- projektowanie i obsługa dużych platform danych
- odzyskiwanie po awarii, ciągłość biznesowa lub rozwiązania awaryjne
- nowoczesne architektury lakehouse oparte na Apache Iceberg
- replikacja i synchronizacja danych na dużą skalę
- migracja obciążeń między środowiskami chmurowymi a lokalnymi
Warunki:
- stanowisko starszego specjalisty: 9600 - 22 000 PLN
- stanowisko eksperta: 13 000 - 28 000 PLN
Zakres wynagrodzenia określony w ogłoszeniu jest dostosowany i może różnić się od zakresu określonego w regulaminie wynagrodzeń.
Data Platform Engineer in Warsaw – pracodawca: ING Hubs Poland
ING Hubs Poland to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w obszarze technologii chmurowych i analityki. Pracownicy mają możliwość rozwoju zawodowego poprzez współpracę z ekspertami oraz dostęp do nowoczesnych narzędzi, co sprzyja innowacyjności i efektywności. Dodatkowo, firma promuje kulturę współpracy i otwartości, co czyni ją atrakcyjnym miejscem dla osób poszukujących satysfakcjonującej kariery.
