W skrócie
- Zadania: Projektuj i buduj skalowalne potoki danych oraz optymalizuj zadania Apache Spark.
- Firma: Międzynarodowa firma technologiczna z nowoczesnym podejściem do danych.
- Benefity: Długoterminowy projekt, hybrydowe miejsce pracy i możliwość wpływu na architekturę.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj nad dużymi systemami danych z realnym wpływem na świat.
- Kwalifikacje: 6-8 lat doświadczenia w inżynierii danych i umiejętności SQL.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Okres kontraktowy: Długoterminowy projekt (1 rok)
Lokalizacja: Hybrydowa (Polska)
O roli
Szukamy doświadczonego inżyniera danych (Big Data), który dołączy do inicjatyw związanych z dużymi platformami danych w międzynarodowej organizacji technologicznej. Firma buduje i obsługuje platformy danych o wysokiej objętości i niskim opóźnieniu, przetwarzając duże ilości danych zdarzeń za pomocą nowoczesnych architektur wsadowych i strumieniowych. Ta rola jest odpowiednia dla inżyniera danych na poziomie seniora, który lubi pracować z systemami rozproszonymi, przetwarzaniem danych opartym na zdarzeniach oraz technologiami chmurowymi. Wymagana jest biegłość w języku polskim oraz lokalizacja w Polsce.
Twój profil
- 6–8 lat praktycznego doświadczenia w rolach inżyniera danych
- Doświadczenie z co najmniej jedną główną platformą chmurową (GCP, AWS lub Azure); gotowość do pracy w środowisku opartym na GCP (doświadczenie z GCP jest plusem)
- Silne doświadczenie produkcyjne z Apache Spark, używając Python/PySpark
- Praktyczne doświadczenie z architekturami strumieniowymi i opartymi na zdarzeniach, używając technologii takich jak: Kafka, Google Pub/Sub, AWS Kinesis
- Silne umiejętności SQL, w tym transformacje danych, zapytania analityczne i optymalizacja wydajności
Umiejętności mile widziane
- Poprzednie doświadczenie w roli inżyniera danych Big Data
- Tło w językach opartych na JVM (Scala, Java, Kotlin)
- Znajomość architektur jeziora danych lub lakehouse
- Doświadczenie w implementacji monitorowania, obserwowalności i kontroli jakości danych
- Ekspozycja na systemy przetwarzania zdarzeń o wysokiej przepustowości
- Doświadczenie z pipeline'ami CI/CD lub podejściami Infrastructure-as-Code
Twoje obowiązki
- Projektowanie, budowanie i utrzymywanie skalowalnych wsadowych i strumieniowych pipeline'ów danych
- Rozwój, optymalizacja i obsługa zadań Apache Spark przy użyciu PySpark
- Praca z platformami opartymi na zdarzeniach i strumieniach w celu przetwarzania zbiorów danych o wysokiej objętości
- Wykonywanie zaawansowanych transformacji danych i analiz przy użyciu SQL
- Poprawa wydajności, niezawodności i obserwowalności pipeline'ów danych
- Współpraca z zespołami analitycznymi, platformowymi i produktowymi w celu dostarczenia kompleksowych rozwiązań danych
- Udział w podejmowaniu decyzji technicznych i architektonicznych
- Pełna odpowiedzialność za rozwiązania danych, od projektu po produkcję
Czego możesz się spodziewać
- Praca nad dużymi, intensywnymi systemami danych z rzeczywistym wpływem
- Technicznie wymagające środowisko skoncentrowane na przetwarzaniu danych rozproszonych
- Współpraca z zespołami międzyfunkcyjnymi w nowoczesnym ekosystemie platform danych
- Możliwości wpływania na architekturę, narzędzia i najlepsze praktyki
Senior Data Engineer in Warsaw – pracodawca: DataEdge SRL
Nasza firma to doskonały pracodawca, oferujący wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku technologicznym. Pracując jako Senior Data Engineer, będziesz częścią zespołu zajmującego się dużymi platformami danych, co pozwoli Ci na rozwijanie umiejętności w zakresie nowoczesnych technologii chmurowych i przetwarzania danych w czasie rzeczywistym. Oferujemy elastyczne warunki pracy w modelu hybrydowym oraz kulturę współpracy, która sprzyja innowacjom i dzieleniu się wiedzą.
