Data Engineer in Warsaw

Datumo specjalizuje się w świadczeniu usług doradczych w zakresie Big Data i chmury dla klientów z całego świata, głównie w Europie Zachodniej, Polsce i USA. Kluczowe branże, które wspieramy, to e-commerce, telekomunikacja i nauki przyrodnicze. Nasz zespół składa się z wyjątkowych ludzi, których zaangażowanie pozwala nam realizować bardzo wymagające projekty. Członkowie naszego zespołu zazwyczaj zostają z nami na dłużej niż 3 lata, a po zakończeniu projektu nie pozwalamy im odejść - wyruszamy w podróż, aby odkrywać ekscytujące nowe wyzwania. To nie tylko miejsce pracy; to społeczność, która rozwija się razem!

Oczekiwania:

• Minimum 3-letnie doświadczenie komercyjne w Big Data
• Udokumentowane doświadczenie z wybranym dostawcą chmury (preferowany GCP, Azure lub AWS)
• Silna znajomość Pythona i SQL
• Dobra znajomość języków JVM - Scala, Java lub Kotlin
• Zrozumienie Apache Spark lub podobnych frameworków przetwarzania danych rozproszonych
• Doświadczenie z rozwiązaniami hurtowni danych (BigQuery, Snowflake, Databricks)
• Projektowanie i wdrażanie systemów Big Data zgodnie z najlepszymi praktykami
• Zapewnienie jakości rozwiązań poprzez automatyczne testy, CI/CD i przegląd kodu
• Udokumentowana współpraca z biznesem
• Znajomość języka angielskiego na poziomie min. B2, biegła znajomość języka polskiego

Miłe do posiadania:

• Znajomość Apache Airflow lub podobnego narzędzia do orkiestracji pipeline'ów
• Znajomość technologii Apache Kafka, Docker i Kubernetes
• Znajomość przetwarzania danych w czasie rzeczywistym
• Doświadczenie w projektach Machine Learning
• Doświadczenie w Apache Flink
• Chęć dzielenia się wiedzą (konferencje, artykuły, projekty open-source)

Co oferujemy:

• 100% zdalna praca, z możliwością pracy wakacyjnej
• 20 dni wolnych
• Onboarding z dedykowanym mentorem
• Możliwość zmiany projektu po pewnym okresie
• Indywidualny budżet na szkolenia i konferencje
• Benefity: prywatna opieka medyczna Medicover, dofinansowanie karty Medicover Sport
• Możliwość nauki języka angielskiego z native speakerem
• Regularne wyjazdy firmowe i nieformalne spotkania

Możliwości rozwoju w Datumo:

• Udział w konferencjach branżowych
• Budowanie obecności marki Datumo w internecie
• Wsparcie w uzyskiwaniu certyfikatów (np. GCP, Azure, Snowflake)
• Zaangażowanie w inicjatywy wewnętrzne, takie jak budowanie map technologicznych
• Dostęp do wewnętrznych repozytoriów szkoleń technologicznych

Odkryj nasze przykładowe projekty:

• Projekt integrujący dane z urządzeń brzegowych do chmury przy użyciu usług Azure. Platforma wspiera strumieniowanie danych przez środowisko IoT Edge z modułami Java lub Python, lub bezpośrednie połączenie przy użyciu protokołu Kafka do Event Hubs. Umożliwia również przesyłanie danych wsadowych do ADLS. Transformacja danych z surowej telemetrii do strukturalnych tabel odbywa się za pomocą zadań Spark w Databricks lub połączeń danych i polityk aktualizacji w Azure Data Explorer.
• Migracja platformy danych o skali petabajtowej do Google Cloud. Celem projektu jest poprawa skalowalności i wydajności platformy danych poprzez przejście ponad tysiąca aktywnych pipeline'ów do GCP. Główny nacisk kładzie się na przekształcanie istniejących aplikacji Spark do Cloud Dataproc lub Cloud BigQuery SQL, w zależności od wymagań klienta, oraz automatyzację tego procesu przy użyciu Cloud Composer.
• Projekt koncentrujący się na rozwijaniu i nadzorowaniu platformy danych dla firmy zarządzającej aktywami skoncentrowanej na inwestycjach ESG. Databricks jest centralnym komponentem. Platforma, zbudowana w chmurze Azure, integruje różne usługi Azure dla różnych funkcjonalności. Główne zadanie polega na wdrażaniu i rozszerzaniu złożonych procesów ETL, które wzbogacają dane inwestycyjne, przy użyciu zadań Spark w Scali. Zaimplementowano integracje z zewnętrznymi dostawcami danych, a także rozwiązania poprawiające jakość danych i optymalizujące zasoby chmurowe.
• Platforma danych konsumenckich w czasie rzeczywistym. Inicjatywa polega na budowie platformy danych konsumenckich (CDP) dla dużej polskiej firmy detalicznej. Datumo aktywnie uczestniczy od początku projektu, przyczyniając się do planowania architektury platformy. CDP jest zbudowane na Google Cloud Platform (GCP), wykorzystując usługi takie jak Pub/Sub, Dataflow i BigQuery. Narzędzia open-source, w tym klaster Kubernetes z Apache Kafka, Apache Airflow i Apache Flink, są używane do spełnienia specyficznych wymagań. Ta kombinacja oferuje znaczące możliwości dla platformy.