W skrócie
- Zadania: Twórz skalowalne rozwiązania danych na Google Cloud Platform z nowoczesnymi technologiami Big Data.
- Firma: Dynamiczna firma technologiczna z kulturą współpracy.
- Benefity: Atrakcyjne wynagrodzenie, benefity zdrowotne i możliwość pracy zdalnej.
- Pozostałe informacje: Możliwości rozwoju kariery w innowacyjnym środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na transformację danych.
- Kwalifikacje: 5+ lat doświadczenia w Big Data oraz biegłość w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
W tej roli będziesz przyczyniać się do budowania skalowalnych i niezawodnych rozwiązań danych na Google Cloud Platform, wykorzystując nowoczesne technologie Big Data i usługi chmurowe. Będziesz pracować z systemami przetwarzania danych wsadowych i strumieniowych, pomagając organizacjom w transformacji, zarządzaniu i odblokowywaniu wartości ich danych. Jako część zespołu inżynieryjnego będziesz uczestniczyć w pełnym cyklu życia projektu, od odkrycia i projektowania rozwiązań po wdrożenie i produkcję.
Obowiązki:
- Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych dla obciążeń wsadowych i strumieniowych
- Budowanie i optymalizacja rozwiązań przetwarzania danych przy użyciu Pythona (wymagane), SQL, Javy, Apache Spark i Databricks
- Tworzenie architektur danych w chmurze wykorzystujących usługi GCP, w tym BigQuery, Dataflow, Cloud Composer, Pub/Sub i Cloud Storage
- Implementacja praktyk transformacji danych, modelowania i inżynierii analitycznej przy użyciu dbt i Dataform
- Współpraca z interesariuszami biznesowymi, architektami i zespołami inżynieryjnymi w celu przetłumaczenia wymagań dotyczących danych na skuteczne rozwiązania techniczne
- Wsparcie rozwoju nowoczesnych platform danych i rozwiązań analitycznych na GCP z wykorzystaniem usług natywnych GCP i/lub Databricks
- Udział w dyskusjach dotyczących projektowania technicznego, decyzji architektonicznych i inicjatyw ciągłego doskonalenia
- Zapewnienie jakości, niezawodności i wydajności w procesach przetwarzania danych
- Wsparcie dostarczania projektów end-to-end, w tym PoC, MVP, wdrożeń produkcyjnych i ulepszeń platformy
Wymagania:
- 5+ lat doświadczenia zawodowego w Big Data lub inżynierii danych
- Zaawansowana wiedza z zakresu Pythona i SQL (Java mile widziana) do przetwarzania i transformacji danych na dużą skalę
- Praktyczne doświadczenie w opracowywaniu rozwiązań danych na Google Cloud Platform (GCP)
- Doświadczenie z Apache Spark i frameworkami przetwarzania danych, takimi jak Cloud Dataflow lub Apache Beam
- Udokumentowane doświadczenie w budowaniu skalowalnych rozwiązań przy użyciu Databricks i koncepcji Lakehouse
- Doświadczenie z narzędziami orkiestracyjnymi, takimi jak Apache Airflow lub Cloud Composer
- Znajomość technologii strumieniowych, takich jak Apache Kafka lub Google Cloud Pub/Sub
- Silna wiedza na temat BigQuery i nowoczesnych architektur danych w chmurze
- Doświadczenie z narzędziami do transformacji i modelowania danych, takimi jak dbt i Dataform
- Silne umiejętności analityczne, zdolności rozwiązywania problemów oraz umiejętność komunikacji z interesariuszami technicznymi i nietechnicznymi
- Poziom angielskiego co najmniej średniozaawansowany
SoftServe jest pracodawcą równych szans. Kwalifikowani kandydaci będą brani pod uwagę bez względu na rasę, kolor skóry, pochodzenie, etniczność, narodowość, religię, płeć, orientację seksualną, tożsamość płciową lub ekspresję, wiek, obywatelstwo, niepełnosprawność, stan zdrowia, status małżeński lub rodzinny, status weterana lub jakąkolwiek inną cechę chronioną przez obowiązujące prawo.
Senior Big Data Engineer in Warsaw – pracodawca: SoftServe
Nasza firma to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku publicznym. Pracując jako Lead Backend Engineer, będziesz częścią zespołu, który kładzie duży nacisk na innowacje i współpracę, a także korzysta z najnowszych technologii w obszarze Java i PHP. Oferujemy elastyczne godziny pracy, wsparcie w dalszym kształceniu oraz przyjazną atmosferę, która sprzyja wymianie wiedzy i doświadczeń w międzynarodowym zespole.
