W skrócie
- Zadania: Twórz i zarządzaj nowoczesnymi platformami danych w chmurze AWS.
- Firma: Globalna firma technologiczna z dynamiczną kulturą pracy.
- Benefity: Elastyczne godziny pracy, konkurencyjne wynagrodzenie i możliwości rozwoju zawodowego.
- Pozostałe informacje: Świetne możliwości kariery w szybko rozwijającym się środowisku.
- Dlaczego ta praca: Pracuj nad innowacyjnymi projektami, które mają realny wpływ na świat.
- Kwalifikacje: 4+ lata doświadczenia w inżynierii danych i znajomość AWS.
Przewidywane wynagrodzenie mieści się w przedziale 126000 - 154000 zł za rok.
N-iX to globalna firma zajmująca się rozwojem oprogramowania, założona w 2002 roku, łącząca ponad 2400 specjalistów technologicznych w ponad 40 krajach. Dostarczamy innowacyjne rozwiązania technologiczne w zakresie chmury obliczeniowej, analityki danych, AI, oprogramowania wbudowanego, IoT i innych dla globalnych liderów branży oraz firm z listy Fortune 500. Dołącz do nas, aby tworzyć technologie, które wprowadzają prawdziwe zmiany dla biznesów i ludzi na całym świecie.
Klient: Nasz klient to azerska firma telekomunikacyjna, największy operator sieci komórkowej w Azerbejdżanie. Główne produkty to: telefonia stacjonarna, telefonia komórkowa, usługi internetowe, szerokopasmowe usługi bezprzewodowe oraz usługi dodane.
Cele projektu: Głównym celem jest przyspieszenie inicjatyw związanych z danymi i AI klienta poprzez bezpieczną, hybrydową podstawę chmurową na AWS, jednocześnie systematycznie modernizując infrastrukturę IT w ramach migracji do chmury.
- Podstawa chmurowa i strefa lądowania: Wdrożenie docelowych architektur sieci hybrydowych, ustanowienie bezpiecznej strefy lądowania oraz hybrydowych platform Data/AI na AWS.
- Bezpieczeństwo, zgodność i zarządzanie: Operacjonalizacja tokenizacji on-prem (osiągnięcie zerowego surowego PII w chmurze), rozwiązanie blokad politycznych w celu uwzględnienia AWS w ISMS oraz ustanowienie Centrum Doskonałości Chmury (CCoE) w celu zarządzania adopcją chmury.
- Projektowanie i wdrażanie chatbotów AI i voicebotów: Opracowanie i operacjonalizacja flagowego chatbota i voicebota do obsługi klienta jako pierwszego konsumenta w hybrydowym ustawieniu.
Kluczowe obowiązki:
- Projektowanie, wdrażanie i utrzymywanie podstawy platformy danych AWS, w tym układ jeziora Amazon S3, standaryzacja formatu tabeli Apache Iceberg oraz integracja katalogu danych AWS Glue.
- Budowanie i optymalizacja skalowalnych potoków danych wsadowych i strumieniowych przy użyciu Amazon EMR (Serverless i EMR-on-EKS), Apache Spark/PySpark, Apache Flink oraz Amazon Athena z ograniczeniami kosztów grup roboczych.
- Wdrażanie potoków tokenizacji danych i deidentyfikacji po stronie danych (PA-T) przy użyciu Protegrity/Spark UDF dla wsadu, Spark Streaming dla mikro-wsadu oraz Kafka Connect SMT dla maskowania PII przed tranzytem do chmury.
- Budowanie i zarządzanie architekturami strumieniowymi w czasie rzeczywistym z Amazon MSK (Zarządzane Strumieniowanie dla Apache Kafka), MSK Replicator/MirrorMaker2 oraz integracją rejestru schematów.
- Wdrażanie architektury Medallion (warstwy brązowa, srebrna, złota) dla modelowania danych lakehouse, automatyzacja rejestracji tabel Iceberg i ram backfill.
- Wykonywanie fal migracji danych przez zestawy danych nie-PII i PII przy użyciu AWS DataSync, zautomatyzowane kroki rejestracji oraz konfiguracje migracji strumieniowej.
- Konfigurowanie modeli kontroli dostępu do danych i zarządzania przy użyciu AWS Lake Formation, autoryzacji między silnikami, AWS Macie do wykrywania PII oraz integracji Informatica Data Catalog (Axon, EDC, BDQ).
- Budowanie zautomatyzowanych komponentów identyfikacji dryfu schematu, integracja potoku GitLab CI/CD dla synchronizacji zbiorów danych oraz zautomatyzowane umowy dotyczące danych/bezpieczników obwodowych.
- Wdrażanie obserwowalności DataOps, centralizowanie logowania za pomocą Amazon CloudWatch, konfigurowanie monitorowania kosztów i anomalii FinOps oraz ustawianie zautomatyzowanych powiadomień.
- Tworzenie dokumentacji technicznej, podręczników operacyjnych, procedur odzyskiwania po awarii (DR) oraz planów przejścia/rollback dla wzmocnienia platformy danych.
Wymagania (obowiązkowe umiejętności techniczne):
- 4+ lata praktycznego doświadczenia jako inżynier danych lub inżynier DataOps w budowaniu platform i potoków danych klasy enterprise.
- Silna wiedza na temat stosu analityki danych AWS: Amazon S3, AWS Glue Data Catalog, AWS Lake Formation, Amazon EMR (EMR-on-EKS / Serverless), Amazon Athena, AWS DataSync oraz Amazon MSK.
- Głębokie doświadczenie z formatem tabeli Apache Iceberg, katalogowaniem, kompaktowaniem i ewolucją schematu.
- Znajomość Apache Spark / PySpark i Spark Streaming do przetwarzania danych wsadowych, mikro-wsadowych i w czasie rzeczywistym.
- Silne doświadczenie w projektowaniu i wdrażaniu architektury Medallion Lakehouse (warstwy brązowa, srebrna, złota).
- Praktyczne doświadczenie w implementacji tokenizacji danych i szyfrowania na dużą skalę (np. Protegrity, Thales, FPE lub potoki deidentyfikacji oparte na Spark UDF).
- Solidna wiedza na temat architektur opartych na zdarzeniach i strumieniowych: Apache Kafka / Amazon MSK, Kafka Connect (SMT), rejestr schematów oraz MirrorMaker2 / MSK Replicator.
- Ekspertyza w zakresie baz danych relacyjnych (Amazon RDS, PostgreSQL, Oracle) oraz technik synchronizacji danych.
- Praktyczne doświadczenie z automatyzacją i CI/CD DataOps: GitLab CI/CD, Infrastructure-as-Code (Terraform / AWS CDK), wykrywanie dryfu schematu oraz walidacja umów dotyczących danych.
- Znajomość narzędzi do zarządzania danymi i korporacyjnych katalogów danych (np. Informatica Axon/EDC, AWS Lake Formation).
Umiejętności mile widziane:
- Certyfikat AWS w zakresie analityki danych – specjalność lub certyfikat AWS w zakresie inżynierii danych – asystent.
- Doświadczenie w modelach danych domeny telekomunikacyjnej, przetwarzaniu CDR oraz telemetryce w czasie rzeczywistym o wysokiej przepustowości.
- Doświadczenie z tokenizacją/detokenizacją po stronie chmury za pomocą Athena UDF / AWS Lambda.
- Znajomość konteneryzacji (Docker, EKS, Kubernetes) dla runtime'ów big data.
- Doświadczenie z AWS Macie oraz ramami alokacji kosztów/anomalii FinOps.
Umiejętności miękkie i dopasowanie do zespołu:
- Silne umiejętności krytycznego myślenia, rozwiązywania problemów i analizy.
- Doskonale rozwinięte umiejętności komunikacyjne i współpracy, aby ściśle współpracować z zespołami międzyfunkcyjnymi (Data Science, Cloud/Platform, Security, Governance).
- Skoncentrowane na wynikach, proaktywne podejście z silnym poczuciem odpowiedzialności za wyniki w ramach struktury Agile / Scrum.
- Poziom angielskiego co najmniej średniozaawansowany (pisany i mówiony).
Oferujemy:
- Elastyczny format pracy - zdalnie, w biurze lub elastycznie.
- Konkurencyjne wynagrodzenie i dobry pakiet świadczeń.
- Spersonalizowany rozwój kariery.
- Narzędzia do rozwoju zawodowego (program mentorskich, tech talks i szkolenia, centra doskonałości i inne).
- Aktywne społeczności technologiczne z regularnym dzieleniem się wiedzą.
- Zwrot kosztów edukacji.
- Zapadające w pamięć prezenty jubileuszowe.
- Wydarzenia korporacyjne i budowanie zespołu.
- Inne korzyści specyficzne dla lokalizacji, które nie mają zastosowania dla freelancerów.
Senior DataOps Engineer in Warsaw – pracodawca: N-iX
N-iX to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku technologicznym. Pracując w zespole ekspertów, będziesz miał szansę nie tylko na rozwijanie swoich umiejętności w zakresie AI, ale także na mentoring innych, co sprzyja współpracy i innowacyjności. Nasza kultura pracy opiera się na otwartości, wsparciu oraz dążeniu do wspólnego sukcesu, a lokalizacja w sercu branży IT zapewnia dostęp do najnowszych trendów i technologii.
