W skrócie
- Zadania: Twórz i rozwijaj rozwiązania inżynieryjne danych w chmurze GCP.
- Firma: Datumo - innowacyjna firma konsultingowa w dziedzinie inżynierii danych.
- Benefity: 100% zdalna praca, opieka medyczna, sportowa karta, nauka angielskiego.
- Pozostałe informacje: Możliwość uczestnictwa w konferencjach i zdobywania certyfikatów.
- Dlaczego ta praca: Dołącz do zespołu, który wspiera rozwój i ciekawe projekty.
- Kwalifikacje: 3-4 lata doświadczenia w programowaniu, znajomość GCP, Python, SQL.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Poszukujemy Inżyniera Danych, który jest gotowy na przekraczanie granic i rozwój z nami. Datumo specjalizuje się w świadczeniu usług doradczych w zakresie inżynierii danych i chmury obliczeniowej dla klientów z całego świata, głównie w Europie Zachodniej, Polsce i USA. Kluczowe branże, które wspieramy, to e-commerce, telekomunikacja i nauki przyrodnicze. Nasz zespół składa się z wyjątkowych ludzi, których zaangażowanie pozwala nam realizować bardzo wymagające projekty. Członkowie naszego zespołu zazwyczaj zostają z nami na dłużej niż 3 lata, a po zakończeniu projektu nie pozwalamy im odejść - wyruszamy w podróż, aby odkrywać ekscytujące nowe wyzwania. To nie tylko miejsce pracy; to społeczność, która rośnie razem!
Wymagania:
- co najmniej 3-4 lata doświadczenia komercyjnego w programowaniu,
- udokumentowane doświadczenie z dostawcą chmury - Google Cloud Platform,
- silna znajomość Pythona, SQL i języków JVM (Scala lub Java lub Kotlin),
- doświadczenie w rozwiązaniu hurtowni danych BigQuery,
- dogłębne zrozumienie aspektów big data, takich jak przechowywanie danych, modelowanie, przetwarzanie, harmonogramowanie itp.,
- znajomość Apache Spark (lub podobnego rozproszonego frameworka do przetwarzania danych),
- zapewnienie jakości rozwiązań poprzez automatyczne testy, CI/CD i przegląd kodu,
- udokumentowana współpraca z biznesem,
- znajomość języka angielskiego na poziomie min. B2, biegła znajomość języka polskiego.
Preferencje:
- znajomość dbt, Docker i Kubernetes, Apache Kafka,
- znajomość Apache Airflow lub podobnego orkiestratora pipeline'ów,
- inny język programowania JVM (Java/Scala/Kotlin),
- doświadczenie w projektach związanych z uczeniem maszynowym,
- znajomość jednego z narzędzi BI: Power BI/Looker/Tableau,
- chęć dzielenia się wiedzą (konferencje, artykuły, projekty open-source).
Co oferujemy:
- 100% zdalnej pracy, z możliwością pracy wakacyjnej,
- wprowadzenie z dedykowanym mentorem,
- możliwość zmiany projektu po pewnym czasie,
- benefity: Medicover Prywatna Opieka Medyczna, dofinansowanie karty Medicover Sport,
- możliwość nauki języka angielskiego z native speakerem,
- regularne wyjazdy firmowe i nieformalne spotkania.
Możliwości rozwoju w Datumo:
- uczestnictwo w konferencjach branżowych,
- budowanie obecności marki Datumo w internecie,
- wspieranie w uzyskiwaniu certyfikatów (np. GCP, Azure, Snowflake),
- angażowanie się w inicjatywy wewnętrzne, takie jak budowanie technologicznych map drogowych,
- dostęp do wewnętrznych repozytoriów szkoleń technologicznych.
Odkryj nasz przykład projektu:
- Integracja danych IoT do chmury: Projekt integruje dane z urządzeń brzegowych do chmury przy użyciu usług Azure. Platforma obsługuje przesyłanie danych zarówno przez środowisko IoT Edge z modułami Java lub Python, jak i bezpośrednie połączenie przy użyciu protokołu Kafka do Event Hubs. Umożliwia również przesyłanie danych wsadowych do ADLS. Transformacja danych z surowej telemetrii do strukturalnych tabel odbywa się za pomocą zadań Spark w Databricks lub połączeń danych i polityk aktualizacji w Azure Data Explorer.
- Migracja platformy danych o skali petabajtowej do Google Cloud: Celem projektu jest poprawa skalowalności i wydajności platformy danych poprzez przeniesienie ponad tysiąca aktywnych potoków do GCP. Główny nacisk kładzie się na przekształcanie istniejących aplikacji Spark do Cloud Dataproc lub Cloud BigQuery SQL, w zależności od wymagań klienta, oraz automatyzację tego procesu przy użyciu Cloud Composer.
- Platforma analityczna dla firmy inwestycyjnej: Projekt koncentruje się na opracowywaniu i nadzorowaniu platformy danych dla firmy zarządzającej aktywami, skoncentrowanej na inwestycjach ESG. Databricks jest centralnym komponentem. Platforma, zbudowana w chmurze Azure, integruje różne usługi Azure dla różnych funkcjonalności. Główne zadanie polega na wdrażaniu i rozszerzaniu złożonych procesów ETL, które wzbogacają dane inwestycyjne, przy użyciu zadań Spark w Scala. Zaimplementowano integracje z zewnętrznymi dostawcami danych, a także rozwiązania poprawiające jakość danych i optymalizujące zasoby chmurowe.
Data Engineer (GCP) in Warsaw – pracodawca: Datumo
Datumo to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznej i wspierającej społeczności. Pracując z nami jako Data Engineer, będziesz miał szansę na 100% zdalną pracę oraz uczestnictwo w ekscytujących projektach w obszarze inżynierii danych i chmury, a także korzystanie z licznych benefitów, takich jak prywatna opieka medyczna i dofinansowanie karty sportowej. Nasza kultura pracy sprzyja długotrwałym relacjom, a każdy członek zespołu ma możliwość rozwijania swoich umiejętności poprzez mentoring i udział w konferencjach branżowych.
