W skrócie
- Zadania: Twórz i rozwijaj potoki danych na GCP, zapewniając czyste i wiarygodne dane.
- Firma: Innowacyjna firma technologiczna z kulturą współpracy.
- Benefity: Prywatna opieka zdrowotna, płatny urlop ojcowski, elastyczny model pracy.
- Pozostałe informacje: Dynamiczne środowisko z doskonałymi możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na rozwój produktów ML i AI.
- Kwalifikacje: Doświadczenie w modelowaniu danych i architekturze magazynów danych.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
W przeglądzie roli będziesz odpowiedzialny za rozwój naszych potoków danych na GCP - budowanie nowych, wzmacnianie istniejących, poprawianie jakości danych oraz udostępnianie czystych, wiarygodnych danych w całej organizacji. Będziesz pracować end-to-end nad potokami strumieniowymi i wsadowymi, od CDC i pobierania zdarzeń przez transformację, serwowanie i warstwę cech, która zasila nasze produkty ML i AI.
Lokalizacja i tryb pracy: Preferowany jest Grecja. W pełni zdalnie / Hybrydowo (2 dni w biurze, 3 dni zdalnie, plus jeden miesiąc pracy z dowolnego miejsca). Jeśli tylko w Grecji: Przy zatrudnianiu w Grecji jesteśmy otwarci na kandydatów z wszystkich lokalizacji. Osoby zlokalizowane w promieniu 55 km od naszego biura w Atenach będą podlegać hybrydowemu modelowi pracy. Dla kandydatów znajdujących się poza tym promieniem dostępny jest w pełni zdalny układ.
Narzędzia technologiczne:
- Chmura i magazyn: GCP, BigQuery, Bigtable, Cloud Storage
- Strumieniowanie i komunikacja: Pub/Sub, Kafka
- Przetwarzanie: Dataflow (Apache Beam), z Flink/Spark tam, gdzie to stosowne
- Orkiestracja: Airflow (Cloud Composer)
- Sklep analityczny: ClickHouse
- Języki: Python, SQL
- Modelowanie i jakość: dbt, bramy jakości danych
- Kontenery i CI/CD: Docker, Kubernetes, GitHub Actions / równoważne
- Legacy (wycofywane): Snowflake
Kluczowe obowiązki:
- Projektowanie i budowanie potoków wsadowych i strumieniowych na Dataflow, Pub/Sub i Kafka zasilających BigQuery, Bigtable i ClickHouse
- Pomoc w migracji z Snowflake na naszą natywną platformę GCP - oraz wycofanie cieniowych potoków po drodze
- Posiadanie warstwy orkiestracji w Airflow, w tym SLA, ponowne próby i bramy jakości danych
- Modelowanie danych do analizy i dla ML - w tym potoki cech, które służą zarówno do treningu, jak i niskolatencyjnego wnioskowania online
- Współpraca z inżynierami ML nad sklepami cech, monitorowaniem dryfu i procesami ponownego trenowania
- Zbieranie wymagań od interesariuszy i tłumaczenie ich na pragmatyczne, dobrze określone produkty danych
- Ciężka praca nad poprawą jakości danych, niezawodności, obserwowalności i efektywności kosztowej
- Identyfikowanie nowych źródeł danych, które warto pozyskać i ich płynna integracja
Kwalifikacje i doświadczenie:
- Silne umiejętności modelowania danych i architektury magazynów (modelowanie wymiarowe, wzorce oparte na zdarzeniach, lakehouse)
- Praktyczne doświadczenie z usługami danych GCP - BigQuery jest koniecznością; Pub/Sub, Dataflow, Bigtable, Cloud Composer to mocne atuty
- Doświadczenie produkcyjne z potokami strumieniowymi na Dataflow/Beam, Flink lub Spark Structured Streaming, pobierając z Kafka i/lub Pub/Sub
- Solidne umiejętności SQL i silny Python - piszesz kod produkcyjny, a nie tylko notatniki
- Doświadczenie z ClickHouse lub innym kolumnowym silnikiem OLAP w produkcji
- Doświadczenie w orkiestracji workflow z Airflow (lub Prefect/Dagster)
- Komfortowe korzystanie z dbt lub równoważnych frameworków transformacyjnych
- Doświadczenie w migracji z legacy warehouses (Snowflake, Redshift, Synapse) na natywne stosy chmurowe to dodatkowy atut
- Znajomość ML w produkcji - inżynieria cech, sklepy cech, wdrażanie modeli, monitorowanie dryfu, ponowne trenowanie
- Doświadczenie z Dockerem i Kubernetesem
- Myślenie CI/CD, poczucie infrastruktury jako kodu oraz skłonność do prostych, obserwowalnych systemów
- Bonus: narzędzia CDC (Datastream, Debezium), Vertex AI / Feature Store
Korzyści:
- Prywatna opieka zdrowotna
- Płatny urlop ojcowski
- 25 dni urlopu rocznie
- Darmowy lunch i przekąski w biurze
- 120€ Ticket Restaurant od Edenred
- Dedykowany budżet na szkolenia i rozwój zawodowy, udział w konferencjach
- Pełny dostęp do ofert laboratorium Hack The Box; abyś mógł nauczyć się, jak hakować
- Sprzęt najwyższej klasy (Mac, iPhone i plan mobilny)
- Elastyczny WFH (model hybrydowy) - w pełni zdalnie również jest opcją, jeśli nie jesteś mieszkańcem Attiki
Nasza oferta benefitów ma na celu zapewnienie silnego wsparcia dla naszego zespołu, ale może się różnić w zależności od lokalizacji i rodzaju zatrudnienia (np. UK, Grecja lub zatrudnienie przez Pracodawcę Rekordowego).
Oświadczenie EEO: W Hack The Box zobowiązujemy się do wspierania różnorodnego, inkluzywnego i sprawiedliwego miejsca pracy. Wierzymy, że różnorodność wzbogaca naszą wydajność, usługi i społeczności, którym służymy. Dlatego zapewniamy, że wszystkie aplikacje o pracę są rozpatrywane wyłącznie na podstawie zasług, umiejętności i kwalifikacji. Nie dyskryminujemy ze względu na rasę, kolor, religię, płeć, tożsamość płciową lub ekspresję, orientację seksualną, pochodzenie narodowe, geny, niepełnosprawność, wiek ani status weterana. Jesteśmy zobowiązani do zapewnienia sprawiedliwego i szanowanego środowiska pracy, które odzwierciedla nasze wartości.
Senior Data Engineer – pracodawca: Hack The Box
Hack The Box to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznym środowisku zdalnym. Pracując z zespołem utalentowanych inżynierów, będziesz miał szansę na wpływ na rozwój technologii oraz mentorowanie młodszych kolegów, a także korzystanie z elastycznego modelu pracy, który sprzyja równowadze między życiem zawodowym a prywatnym. Dodatkowo, możliwość relokacji do Aten sprawia, że praca w Hack The Box staje się jeszcze bardziej atrakcyjna dla osób poszukujących nowych wyzwań w inspirującym otoczeniu.
