W skrócie
- Zadania: Rozwijaj i utrzymuj nowoczesną platformę danych na AWS, optymalizując jej wydajność.
- Firma: RITS Group - dynamiczna firma informatyczna z międzynarodowym zespołem.
- Benefity: Praca 100% zdalnie, konkurencyjna stawka oraz możliwość rozwoju zawodowego.
- Pozostałe informacje: Wspieraj rozwój AI i ML w dynamicznym środowisku.
- Dlaczego ta praca: Dołącz do innowacyjnego zespołu i pracuj z najnowszymi technologiami w branży.
- Kwalifikacje: Minimum 4 lata doświadczenia w Data Engineering oraz dobra znajomość SQL i Python.
Przewidywane wynagrodzenie mieści się w przedziale 63000 - 77000 zł za rok.
RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.
Tryb usługi: 100% zdalnie
Model współpracy: B2B
Stawka: 140–165 PLN netto + VAT / h
Poziom: Senior / Mid+
O projekcie: Dołączysz do międzynarodowego zespołu rozwijającego nowoczesną platformę danych opartą na AWS, która wspiera produkty cyfrowe i obszary takie jak analityka produktowa, customer engagement, attribution, reporting oraz dane subskrypcyjne i płatnicze. Platforma wykorzystuje m.in. AWS S3, Redshift, EMR, Glue, Lambda, Step Functions, PySpark, dbt oraz Airflow. Dane są wykorzystywane przez narzędzia takie jak Looker, Segment, Braze, Amplitude i AppsFlyer.
Poszukujemy osoby, która wesprze bieżący rozwój i utrzymanie platformy, a jednocześnie pomoże zwiększyć jej niezawodność, wydajność i efektywność kosztową.
Zakres współpracy:
- Rozwijanie i utrzymywanie pipeline'ów danych oraz reagowanie na problemy związane z ich działaniem.
- Projektowanie i rozwój procesów ingestii danych, w tym integracji z bazami Aurora PostgreSQL oraz SQS.
- Budowanie i optymalizacja transformacji danych z wykorzystaniem PySpark i dbt.
- Rozwijanie mechanizmów kontroli jakości danych, monitorowania ich aktualności i niezawodności pipeline'ów.
- Zarządzanie konfiguracją Segment, projektowanie schematów zdarzeń oraz współpraca z zespołami Product i Engineering.
- Zapewnienie spójności danych pomiędzy Redshift a narzędziami Braze, Amplitude, AppsFlyer i Looker.
- Przygotowywanie i udostępnianie danych dla narzędzi zewnętrznych, partnerów oraz zespołów wewnętrznych.
- Rozwijanie istniejących modeli ML, przygotowywanie feature pipelines i zbiorów treningowych oraz wdrażanie modeli z wykorzystaniem AWS SageMaker.
- Wsparcie inicjatyw AI, w tym rozwiązań opartych na LLM, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.
- Optymalizacja wydajności i kosztów Amazon Redshift.
- Rozwijanie infrastruktury jako kodu z wykorzystaniem AWS SAM, CloudFormation lub podobnych rozwiązań oraz CI/CD.
- Modernizacja istniejącej architektury i stopniowe przenoszenie starszych rozwiązań na aktualny stack technologiczny.
- Współpraca z zespołami Analytics, Finance i Product przy definiowaniu oraz standaryzacji metryk biznesowych.
- Rozwijanie projektu dbt, w tym modeli incremental, testów i kontroli jakości danych.
- Code review oraz wsparcie merytoryczne mniej doświadczonych członków zespołu.
Wymagania techniczne:
- Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym doświadczenie w samodzielnym rozwijaniu i utrzymywaniu produkcyjnego data warehouse.
- Bardzo dobra znajomość SQL i Python, w tym PySpark.
- Praktyczne doświadczenie z Amazon Redshift lub podobnym rozwiązaniem MPP, w szczególności w zakresie optymalizacji wydajności, distribution keys, sort keys i workload management.
- Znajomość modelowania danych, w tym dimensional modeling oraz Slowly Changing Dimensions.
- Doświadczenie z dbt: incremental models, tests i sources.
- Praktyczna znajomość Segment lub podobnej platformy Customer Data Platform (CDP) oraz projektowania event schemas.
- Doświadczenie w środowisku AWS: S3, IAM, Glue, Lambda, Step Functions, Spark on EMR oraz RDS/Aurora.
- Znajomość Infrastructure as Code, np. CloudFormation, AWS SAM lub Terraform.
- Doświadczenie w pracy z CI/CD.
- Umiejętność projektowania idempotentnych pipeline'ów oraz procesów umożliwiających ponowne przetwarzanie danych (backfilling).
- Praktyczne doświadczenie w przygotowywaniu danych pod rozwiązania ML/AI, np. feature engineering, training datasets lub model serving.
- Nie jest wymagane kompleksowe zarządzanie całym cyklem życia modeli ML.
Dodatkowe informacje:
- Bardzo dobra znajomość języka angielskiego – poziom B2, C1 lub C2.
- Samodzielność w rozwiązywaniu problemów technicznych.
- Umiejętność pracy z produkcyjnymi systemami danych i podejmowania decyzji dotyczących architektury.
Data Engineer in Warsaw – pracodawca: RITS
Nasz klient to jedna z wiodących firm ubezpieczeniowych w Polsce, która stawia na nowoczesne technologie i rozwój swoich pracowników. Oferuje elastyczny model pracy, gdzie tylko jeden dzień w miesiącu wymagana jest obecność w biurze w Łodzi, co sprzyja równowadze między życiem zawodowym a prywatnym. Pracownicy mają możliwość uczestniczenia w innowacyjnych projektach oraz korzystania z zaawansowanych narzędzi, co sprzyja ich rozwojowi zawodowemu i osobistemu.
