W skrócie
- Zadania: Buduj i utrzymuj zaawansowane platformy danych w chmurze.
- Firma: Innowacyjna firma technologiczna z dynamiczną kulturą pracy.
- Benefity: Atrakcyjne wynagrodzenie, benefity zdrowotne oraz możliwość pracy zdalnej.
- Pozostałe informacje: Świetne możliwości rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na rozwój projektów ML.
- Kwalifikacje: Ponad 3 lata doświadczenia w inżynierii danych oraz umiejętności programowania w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 56250 - 68750 zł za rok.
O projekcie:
Data Engineer
Poszukujemy doświadczonego Data Engineera, który zbuduje, skalować, zoptymalizuje i utrzyma niezawodne platformy danych. Będziesz pracować nad pipeline'ami w czasie rzeczywistym, infrastrukturą ML, przetwarzaniem danych atrybucyjnych oraz rozwiązaniami chmurowymi w środowisku produkcyjnym o dużej objętości.
Tech Stack:
- GCP
- Apache Spark
- dbt
- BigQuery
- Python
- SQL
- Scala
- Apache Airflow
- Terraform
- GitHub Actions
- Docker
- Kubernetes
- VertexAI
Wymagania:
Must Have:
- Ponad 3-letnie doświadczenie w Data Engineering i budowaniu platform danych na dużą skalę.
- Silne umiejętności programowania w Pythonie i SQL.
- Zaawansowane doświadczenie w modelowaniu danych, rozwoju ETL i różnych formatach danych.
- Silna wiedza na temat Google Cloud Platform i projektowania architektury chmurowej.
- Ekspercka wiedza na temat Apache Airflow do orkiestracji i automatyzacji workflow.
- Praktyczne doświadczenie z Apache Spark do przetwarzania wsadowego i strumieniowego o dużej objętości.
- Dobre zrozumienie narzędzi CI/CD i DevOps, takich jak GitHub Actions lub Kubernetes.
Nice to Have:
- Doświadczenie z MLOps i wdrażaniem ML w produkcji, najlepiej z Vertex AI.
- Praktyczne doświadczenie z Terraform do Infrastructure as Code.
- Doświadczenie w budowaniu skalowalnych REST API dla danych lub usług ML.
- Silne praktyki testowania, w tym TDD i testy jednostkowe/integracyjne dla Spark i Airflow.
- Znajomość Scali do przetwarzania danych o wysokiej wydajności.
Codzienne zadania:
- Budowanie i utrzymywanie dużych pipeline'ów danych reklamowych dla kliknięć, wyświetleń, atrybucji i przetwarzania zdarzeń.
- Poprawa logiki modelowania atrybucji w celu wspierania lepszej optymalizacji i decyzji biznesowych.
- Zapewnienie wysokiej dostępności, wydajności, stabilności i skalowalności real-time workflows danych.
- Projektowanie i wspieranie infrastruktury serwującej modele ML na poziomie produkcyjnym.
- Rozwój i zarządzanie zbiorami danych dbt do treningu modeli, eksperymentów i integracji Feature Store.
Senior Data Engineer in Poznań – pracodawca: DS STREAM
DS STREAM to doskonały pracodawca, który oferuje elastyczne warunki pracy w 100% zdalnej, co pozwala na zachowanie równowagi między życiem zawodowym a prywatnym. Nasza kultura pracy opiera się na innowacyjności i współpracy, a pracownicy mają możliwość ciągłego rozwoju dzięki dostępowi do najnowszych technologii oraz projektów związanych z Generative AI. Dodatkowo, lokalizacja w Polsce z opcją biura w Warszawie stwarza unikalne możliwości networkingowe i integracyjne w dynamicznym środowisku technologicznym.
