W skrócie
- Zadania: Twórz i utrzymuj potoki danych w Apache Airflow i Snowflake.
- Firma: Innowacyjna firma IT zdalna, oferująca elastyczne warunki pracy.
- Benefity: Stawka do 160 PLN/h netto + VAT oraz możliwość pracy zdalnej.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na jakość danych.
- Kwalifikacje: 3+ lata doświadczenia w inżynierii danych oraz umiejętności w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 60750 - 74250 zł za rok.
Jesteśmy w trakcie poszukiwań wykwalifikowanego i doświadczonego Inżyniera Danych specjalizującego się w Apache Airflow i Snowflake. Idealny kandydat będzie miał silne doświadczenie w projektowaniu i utrzymywaniu potoków danych, z naciskiem na optymalizację wydajności i jakość danych.
Główne obowiązki:
- Projektowanie, budowanie i utrzymywanie DAG-ów Apache Airflow w Pythonie, które ładują dane do Data Lake (S3) i Snowflake.
- Budowanie potoków, które pobierają dane z API, baz danych i plików.
- Modelowanie i transformacja danych za pomocą dbt.
- Optymalizacja zapytań SQL oraz wydajności i kosztów Snowflake.
- Ustawianie monitorowania, alertów i obsługi błędów dla potoków.
- Ochrona jakości danych poprzez testowanie i walidację oraz aktualizacja dokumentacji.
Wymagania kluczowe:
- 3+ lata doświadczenia jako Inżynier Danych.
- Apache Airflow: silna znajomość operatorów, sensorów, hooków, TaskFlow API, XCom, pul, backfills i projektowania idempotentnych DAG-ów.
- Python: silne umiejętności, czysty, testowalny kod i pytest.
- SQL: zaawansowany poziom, w tym funkcje okna, CTE i optymalizacja zapytań.
- Snowflake: praktyczne doświadczenie z magazynami, etapami, zewnętrznymi wolumenami, COPY INTO.
- dbt: modele, testy, makra, migawki i modele inkrementalne.
- AWS S3: organizacja Data Lake, partycjonowanie, formaty plików (Parquet, JSON, CSV) i polityki IAM.
- Doświadczenie z Gitem i CI/CD.
- Znajomość języka angielskiego na poziomie B2 lub wyższym.
Miłe do posiadania:
- Docker i Kubernetes.
- Otwarte formaty tabel: Apache Iceberg lub Delta Lake.
- Narzędzia do jakości danych i obserwowalności, takie jak Great Expectations lub Soda.
- Modelowanie wymiarowe (Kimball).
Data Engineer in Katowice – pracodawca: emagine
Nasza firma to doskonały pracodawca, który oferuje elastyczne warunki pracy w modelu hybrydowym oraz atrakcyjne wynagrodzenie do 145 zł/h. Wspieramy rozwój naszych pracowników poprzez dostęp do nowoczesnych technologii i możliwości uczestnictwa w innowacyjnych projektach, co sprzyja nie tylko ich zawodowemu rozwojowi, ale także satysfakcji z wykonywanej pracy. Pracując w Warszawie, będziesz częścią dynamicznego zespołu, który ceni współpracę i kreatywność, a także dba o dobrą atmosferę w biurze.
