W skrócie
- Zadania: Rozwijaj i utrzymuj platformę danych w AWS, pracując z PySpark i Redshift.
- Firma: Dynamiczna amerykańska firma rozwijająca innowacyjne produkty cyfrowe.
- Benefity: Wysokie wynagrodzenie, praca zdalna i możliwość rozwoju w ML/AI.
- Pozostałe informacje: Możliwość pracy w małym zespole z dużym wpływem na projekt.
- Dlaczego ta praca: Zyskaj doświadczenie w pracy z nowoczesnymi technologiami i wpływaj na rozwój produktów.
- Kwalifikacje: Minimum 4 lata doświadczenia w Data Engineering oraz znajomość SQL i Python.
Przewidywane wynagrodzenie mieści się w przedziale 56250 - 68750 zł za rok.
O projekcie:
Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty. Dla naszego Klienta — amerykańskiej firmy rozwijającej produkty cyfrowe — poszukujemy AWS Data Engineera, który dołączy do niewielkiego zespołu odpowiedzialnego za platformę danych w AWS.
Osoba na tym stanowisku zadba o przepływ danych z aplikacji, systemów płatniczych i narzędzi marketingowych do hurtowni Redshift oraz ich spójność w raportach i analityce produktowej. Będzie także usprawniać istniejącą platformę i przygotowywać dane do rozwoju rozwiązań Machine Learning oraz AI.
B2B contract 100% zdalnie
Wymagania:
- Minimum 4 lata doświadczenia w Data Engineering, w tym odpowiedzialność za produkcyjną hurtownię danych.
- Bardzo dobra znajomość SQL i Python, w tym PySpark.
- Doświadczenie z Amazon Redshift lub podobną hurtownią MPP, obejmujące optymalizację wydajności, zarządzanie obciążeniem i modelowanie wymiarowe, w tym SCD.
- Praktyczna znajomość dbt — modele przyrostowe, testy oraz konfiguracja źródeł danych.
- Doświadczenie z Segment lub podobną platformą Customer Data Platform oraz projektowaniem schematów zdarzeń.
- Znajomość usług AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
- Doświadczenie z Infrastructure as Code — CloudFormation/SAM lub Terraform — oraz procesami CI/CD.
- Umiejętność budowania pipeline’ów umożliwiających bezpieczne ponowne przetwarzanie i uzupełnianie danych historycznych.
- Praktyczne doświadczenie w przygotowywaniu danych do zastosowań ML/AI, np. tworzeniu cech, zbiorów treningowych lub udostępnianiu modeli do predykcji.
- Znajomość języka angielskiego na poziomie minimum B2.
Mile widziane:
- Znajomość Braze, Amplitude, AppsFlyer oraz danych dotyczących atrybucji marketingowej i cyklu życia klienta.
- Doświadczenie z SageMaker lub innymi narzędziami MLOps.
- Doświadczenie z aplikacjami opartymi na LLM, w tym Bedrock, API Anthropic lub OpenAI, ewaluacją oraz zarządzaniem promptami i kosztami.
- Znajomość Claude Code lub innych narzędzi AI wspierających programowanie.
- Znajomość Looker/LookML i Airflow.
- Doświadczenie z Redshift Spectrum, udostępnianiem danych oraz optymalizacją kosztów Redshift.
- Doświadczenie z danymi płatniczymi i subskrypcyjnymi, szczególnie ze Stripe, PayPal, App Store lub Google Play.
- Doświadczenie w integracjach z zewnętrznymi API i eksportami danych, obejmujące obsługę limitów zapytań, zmian schematów oraz ponawiania prób.
Codzienne zadania:
- Rozwój i utrzymanie platformy danych opartej na AWS, PySpark, dbt i Redshift.
- Monitorowanie działania pipeline’ów, rozwiązywanie awarii, poprawianie danych oraz podłączanie nowych źródeł, m.in. Aurora PostgreSQL i SQS.
- Rozwijanie transformacji danych, testów jakości i monitorowania aktualności danych.
- Zarządzanie konfiguracją Segment, schematami zdarzeń oraz przepływem danych pomiędzy aplikacjami, hurtownią i narzędziami analityczno-marketingowymi.
- Wyjaśnianie rozbieżności pomiędzy danymi w Redshift, Braze, Amplitude, AppsFlyer i Looker.
- Udostępnianie danych z hurtowni do systemów zewnętrznych i partnerów, w tym grup odbiorców, atrybutów użytkowników oraz zdarzeń.
- Utrzymywanie istniejących modeli ML, przygotowywanie cech i zbiorów treningowych oraz wdrażanie modeli na SageMaker.
- Wspieranie projektów AI poprzez zapewnianie dostępu do danych, przygotowywanie zbiorów do ewaluacji i kontrolowanie kosztów.
- Wsparcie rozwoju umiejętności Claude Code wykorzystywanych przez analityków do pracy z SQL i specyfikacjami śledzenia zdarzeń.
- Optymalizacja wydajności i kosztów dwóch klastrów Redshift.
- Zarządzanie infrastrukturą przy użyciu AWS SAM, CloudFormation i CI/CD oraz migracja funkcji starszych rozwiązań do obecnego środowiska.
- Uzgadnianie definicji metryk z zespołami analityki, finansów i produktu oraz zapewnianie ich spójności w hurtowni i raportach.
- Rozwijanie projektu dbt, przegląd kodu i mentoring młodszego inżyniera.
AWS Data Engineer in Katowice – pracodawca: Devire
Pracując w międzynarodowej firmie, zyskujesz nie tylko stabilne zatrudnienie, ale także elastyczne godziny pracy oraz możliwość pracy w trybie hybrydowym, co sprzyja równowadze między życiem zawodowym a prywatnym. Nasza kultura pracy opiera się na współpracy i ciągłym rozwoju, oferując liczne możliwości szkoleń oraz awansu, co czyni nas doskonałym pracodawcą dla ambitnych specjalistów w dziedzinie księgowości.
