W skrócie
- Zadania: Buduj i utrzymuj zaawansowane platformy danych oraz przetwarzaj dane w czasie rzeczywistym.
- Firma: Innowacyjna firma technologiczna z dynamiczną kulturą pracy.
- Benefity: Atrakcyjne wynagrodzenie, benefity zdrowotne, możliwość pracy zdalnej oraz rozwój zawodowy.
- Pozostałe informacje: Świetne możliwości rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na decyzje biznesowe dzięki danym.
- Kwalifikacje: Ponad 3-letnie doświadczenie w inżynierii danych oraz umiejętności programowania w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 56250 - 68750 zł za rok.
O projekcie:
Data Engineer
Poszukujemy doświadczonego Data Engineera, który zbuduje, skalować, zoptymalizuje i utrzyma niezawodne platformy danych. Będziesz pracować nad pipeline'ami w czasie rzeczywistym, infrastrukturą ML, przetwarzaniem danych atrybucyjnych oraz rozwiązaniami chmurowymi w środowisku produkcyjnym o dużej objętości.
Tech Stack:
- GCP
- Apache Spark
- dbt
- BigQuery
- Python
- SQL
- Scala
- Apache Airflow
- Terraform
- GitHub Actions
- Docker
- Kubernetes
- VertexAI
Wymagania:
Must Have:
- Ponad 3 lata doświadczenia w Data Engineering i budowaniu platform danych na dużą skalę.
- Silne umiejętności programowania w Pythonie i SQL.
- Zaawansowane doświadczenie w modelowaniu danych, rozwoju ETL i różnych formatach danych.
- Silna znajomość Google Cloud Platform i projektowania architektury chmurowej.
- Ekspercka wiedza na temat Apache Airflow do orkiestracji i automatyzacji workflow.
- Praktyczne doświadczenie z Apache Spark do przetwarzania wsadowego i strumieniowego o dużej objętości.
- Dobre zrozumienie narzędzi CI/CD i DevOps, takich jak GitHub Actions lub Kubernetes.
Nice to Have:
- Doświadczenie z MLOps i wdrażaniem ML w produkcji, najlepiej z Vertex AI.
- Praktyczne doświadczenie z Terraform do Infrastructure as Code.
- Doświadczenie w budowaniu skalowalnych REST API dla danych lub usług ML.
- Silne praktyki testowe, w tym TDD oraz testy jednostkowe/integracyjne dla Spark i Airflow.
- Znajomość Scali do przetwarzania danych o wysokiej wydajności.
Codzienne zadania:
- Budowanie i utrzymywanie dużych pipeline'ów danych reklamowych dla kliknięć, wyświetleń, atrybucji i przetwarzania zdarzeń.
- Poprawa logiki modelowania atrybucji w celu wspierania lepszej optymalizacji i decyzji biznesowych.
- Zapewnienie wysokiej dostępności, wydajności, stabilności i skalowalności real-time workflows danych.
- Projektowanie i wspieranie infrastruktury serwowania modeli ML w produkcji.
- Rozwój i zarządzanie zbiorami danych dbt do treningu modeli, eksperymentów i integracji z Feature Store.
Senior Data Engineer in Kraków – pracodawca: DS STREAM
DS STREAM to doskonały pracodawca, który oferuje elastyczne warunki pracy w 100% zdalnej, co pozwala na zachowanie równowagi między życiem zawodowym a prywatnym. Nasza kultura pracy opiera się na innowacyjności i współpracy, a pracownicy mają możliwość ciągłego rozwoju dzięki dostępowi do najnowszych technologii oraz projektów związanych z Generative AI. Dodatkowo, lokalizacja w Polsce z opcją biura w Warszawie stwarza unikalne możliwości networkingowe i integracyjne w dynamicznym środowisku technologicznym.
