DataOps Consultant, Lakehouse Support in Katowice

Poszukujemy inżyniera wsparcia, który łączy doświadczenie w zakresie wsparcia produkcji z umiejętnościami inżynieryjnymi DevOps i znajomością AI. Rola ta obejmuje pełne portfolio D&E: aplikacje .NET/C# wewnętrzne, API, systemy oparte na zdarzeniach, platformy danych i narzędzia BI. Będziesz zapewniać stabilność operacyjną, jednocześnie ciągle poprawiając niezawodność poprzez automatyzację, obserwowalność i nowoczesne praktyki DevOps. Będziesz pracować bezpośrednio z inżynierami oprogramowania jako pomost między rozwojem a operacjami, odpowiadając za rozwiązywanie incydentów, zdrowie pipeline'ów CI/CD, automatyzację infrastruktury i gotowość produkcyjną. Codziennie będziesz korzystać z narzędzi AI, aby przyspieszyć triage, automatyzować runbooki i proaktywnie wykrywać problemy, zanim wpłyną na użytkowników.

Jesteśmy zespołem inżynieryjnym zorientowanym na AI: będziesz korzystać z AI-powered observability, automatycznych diagnostyk i inteligentnego zarządzania incydentami, aby dostarczać szybsze rozwiązania i wyższą niezawodność systemu.

Obowiązki:

• Koordynacja rozwiązań w ramach inżynierii platformy, inżynierów danych i zespołów domenowych danych (Databricks, Snowflake, Palantir);
• Zapewnienie prawidłowego użycia narzędzi ITSM (np. ServiceNow) do śledzenia incydentów i zarządzania cyklem życia;
• Monitorowanie krytycznych przepływów pracy za pomocą Dynatrace;
• Orkiestracja przepływów pracy za pomocą StoneBranch;
• Wykorzystanie metadanych i dokumentacji do rozwiązywania problemów i analizy przyczyn źródłowych;
• Utrzymywanie jasnej odpowiedzialności, ścieżek eskalacji i komunikacji podczas incydentów;
• Redukcja hałasu incydentów i powtarzających się problemów poprzez strukturalne zarządzanie problemami.

Wymagane umiejętności:

• Wsparcie produkcji i zarządzanie incydentami: Posiadanie wsparcia L2/L3 produkcji dla aplikacji wewnętrznych (.NET/C#, Python), API, systemów opartych na zdarzeniach i platform danych.
• Prowadzenie triage'u incydentów, diagnozowania i rozwiązywania problemów z wykorzystaniem strukturalnej analizy przyczyn źródłowych (RCA) i przeglądów poincydentowych.
• Zarządzanie procesami incydentów, problemów i zmian zgodnie z najlepszymi praktykami ITIL.
• Koordynacja z zespołami deweloperskimi, infrastrukturą i dostawcami w celu eskalacji i rozwiązania złożonych problemów produkcyjnych.
• Utrzymywanie i poprawa zestawów weryfikacji produkcji, testów canary i podręczników niezawodności.
• DevOps i CI/CD: Posiadanie i utrzymywanie pipeline'ów CI/CD w Azure DevOps: automatyzacja budowy, testowania, wdrażania i wydania dla projektów aplikacji i platform danych.
• Infrastruktura jako kod: Terraform, Bicep lub szablony ARM do provisioningu i zarządzania zasobami chmurowymi Azure.
• Orkiestracja kontenerów: Docker i Kubernetes (AKS) do wdrażania, skalowania i rozwiązywania problemów z usługami kontenerowymi.
• Zarządzanie środowiskiem: provisionowanie, konfigurowanie i utrzymywanie środowisk deweloperskich, stagingowych i produkcyjnych.
• Implementacja i utrzymanie strategii wdrożeniowych (blue-green, canary, rolling) w celu minimalizacji ryzyka produkcyjnego.
• Chmura i infrastruktura: Azure: Praktyczne doświadczenie z App Services, AKS, Functions, Event Hubs, Storage, Key Vault, Azure SQL i Azure Monitor.
• Zarządzanie zdrowiem zasobów chmurowych, optymalizacja kosztów i bezpieczeństwo.
• Wsparcie architektur mikroserwisowych: odkrywanie usług, równoważenie obciążenia, skalowanie i wzorce odporności.
• Podstawy sieciowe: DNS, równoważniki obciążenia, zapory, VNets i prywatne punkty końcowe w Azure.
• Obserwowalność i monitorowanie: Implementacja i zarządzanie stosami monitorującymi: Dynatrace, Azure Monitor lub równoważne.
• Budowanie i utrzymywanie reguł alarmowych, pulpitów nawigacyjnych oraz śledzenie SLO/SLI dla krytycznych usług i przepływów danych.
• Rozproszone śledzenie z OpenTelemetry: korelacja identyfikatorów śledzenia między usługami, diagnozowanie wąskich gardeł latencji i walidacja wierności sygnału.
• Obserwowalność danych: monitorowanie zdrowia przepływu danych, wykrywanie anomalii, problemów z latencją i utraty danych za pomocą platform takich jak Monte Carlo Data lub równoważne.
• Agregacja i analiza logów w celu szybkiej diagnozy incydentów.
• Wsparcie aplikacji i platform danych: Aplikacje: Wsparcie usług backendowych .NET/C#, REST/GraphQL API, systemów opartych na zdarzeniach (Solace, Kafka, RabbitMQ) oraz front-endów WPF/web.
• Platformy danych: Wsparcie dla przepływów ETL/ELT (PySpark, Spark), dużych platform danych (Databricks, Palantir Foundry) i hurtowni danych.
• Bazy danych: Zaawansowane SQL do diagnozowania problemów z danymi, walidacji transformacji i wsparcia migracji (SQL Server, MongoDB).
• Planowanie i orkiestracja: Zarządzanie wsadami wsadowymi w StoneBranch, Airflow lub równoważnym.

Umiejętności mile widziane:

• Palantir (Foundry) — konfiguracja DQC w warsztacie, diagnostyka błędów budowy i przepływów danych.
• Monte Carlo — zarządzanie alertami jakości danych i obserwowalnością.
• Znajomość danych zarządzania inwestycjami: terminologia portfela (data dojrzałości, data wartości), cykl życia transakcji, dane rynkowe i ryzykowe; znajomość systemów domenowych (Optima, Cardia).
• Zrozumienie pochodzenia danych, obserwowalności i koncepcji operacji opartych na metadanych.
• Ekspozycja na platformy danych na poziomie przedsiębiorstwa oraz narzędzia orkiestracji wsadowej / przepływy danych.