Data Engineer in Warsaw

Konsultant wdrożeniowiec o profilu Data Engineer to specjalista, który łączy zaawansowane kompetencje techniczne z umiejętnością analizy danych i podstawową wiedzą z zakresu Data Science. Odpowiada za projektowanie, wdrażanie oraz utrzymanie nowoczesnych rozwiązań w obszarze Big Data, architektury danych i platform analitycznych, wspierając klientów w wykorzystaniu danych do podejmowania decyzji biznesowych.

Oczekujemy od Ciebie:

• minimum 3-5 lat doświadczenia w obszarze inżynierii danych, wdrożeń Big Data lub analizy danych;
• doświadczenia w pracy z narzędziami i technologiami Big Data oraz w realizacji projektów analitycznych dla danych.

Szczegółowe wymagania:

• ekspertyza w technologii Big Data i ekosystemach takich jak Hadoop oraz Apache Spark;
• projektowanie i wdrażanie skalowalnych rozwiązań Big Data dla dużych zbiorów danych;
• dobór technologii i narzędzi zgodnych z potrzebami biznesowymi oraz technicznymi (Modern Data Analytics Platform, Query Engines, technologie dla Data Lake, narzędzia chmurowe);
• znajomość podstaw projektowania i zarządzania hurtowniami danych (Data Warehouse);
• doświadczenie w implementacji i utrzymaniu środowisk Data Lake i Data Lakehouse.

Bazy danych:

• zaawansowana znajomość przynajmniej jednej technologii bazodanowej w zastosowaniach BigData (od 1TB+) takich jak: PostgreSQL, Vertica, Snowflake, MariaDB, Oracle, SQL Server;
• umiejętność optymalizacji zapytań, tuning wydajności oraz praca z dużymi zbiorami danych.

Znajomość narzędzi ETL/ELT i orkiestracji danych takich jak: Airbyte, dbt (data build tool), Apache Airflow; praktyczna wiedza w zakresie automatyzacji procesów integracji i przetwarzania danych.

Konfiguracja i administracja:

• praktyczna wiedza w zakresie konfiguracji i administracji ekosystemów Hadoop oraz systemów Object Store (np. VAST, MinIO).

Rozwiązania typu Query Engine:

• znajomość przynajmniej jednej technologii platform takich jak: Dremio, Databricks, Denodo, Starburst.

Analiza danych i podstawy Data Science:

• podstawowa wiedza z zakresu Data Science: znajomość metod eksploracyjnej analizy danych (EDA); podstawowe techniki modelowania danych i ich zastosowanie w biznesie;
• umiejętność interpretacji wyników analizy i współpracy z zespołami analitycznymi;
• praktyczne doświadczenie w analizie danych za pomocą Python (biblioteki takie jak Pandas, NumPy, Matplotlib, Seaborn).

Programowanie i SQL:

• zaawansowana znajomość języka Python zorientowana na przetwarzanie i analizę danych;
• zaawansowana znajomość SQL: tworzenie zaawansowanych zapytań, analiza danych ich optymalizacja.

Mile widziane kwalifikacje i doświadczenie to:

• znajomość platformy HPE Ezmeral lub/i technologii związanych z VAST Data;
• doświadczenie z narzędziami chmurowymi (AWS, Azure, GCP) w kontekście przetwarzania danych;
• doświadczenie w pracy z Kubernetes (K8s) w kontekście wdrażania i zarządzania aplikacjami danych.

Oczekiwane cechy osobowościowe:

• analityczne myślenie i kreatywne podejście do rozwiązywania problemów;
• umiejętności prezentacji zagadnień technicznych dla zespołów technicznych i nietechnicznych;
• umiejętność współpracy z różnorodnymi zespołami, w tym z analitykami i Data Scientistami;
• zdolność do jasnej komunikacji z klientami i przedstawiania wyników analizy danych w zrozumiały sposób;
• otwartość na ciągłe uczenie się i rozwijanie nowych umiejętności.

W zamian za Twoje zaangażowanie oferujemy:

• udział w wyjątkowo ciekawych i ambitnych projektach z obszaru Machine Learning rozwijających nasze produkty oraz realizowanych dla firm stawiających na najnowsze technologie;
• elastyczne godziny pracy;
• kartę Multisport;
• nieformalną, przyjazną atmosferę w biurze.