W skrócie
- Zadania: Projektuj i rozwijaj skalowalne pipeline’y danych z wykorzystaniem Snowflake i Airflow.
- Firma: Dynamiczna firma technologiczna zdalnie współpracująca w modelu B2B.
- Benefity: Praca 100% zdalna, elastyczne godziny, możliwość rozwoju zawodowego.
- Pozostałe informacje: Możliwość pracy w dynamicznym środowisku z szansą na szybki rozwój kariery.
- Dlaczego ta praca: Zdobądź doświadczenie w nowoczesnych technologiach i wpływaj na innowacyjne projekty.
- Kwalifikacje: Minimum 3 lata doświadczenia w Data Engineering oraz znajomość Pythona i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 60750 - 74250 zł za rok.
Poszukujemy doświadczonego Data Engineera zainteresowanego współpracą w modelu B2B, w ramach projektu realizowanego dla naszego klienta.
Zakres usług obejmuje projektowanie, budowę i optymalizację skalowalnych pipeline’ów danych z wykorzystaniem Apache Airflow, Python, Snowflake oraz dbt, a także rozwój procesów integracji i transformacji danych, zasilanie Data Lake (AWS S3) oraz optymalizację wydajności i kosztów przetwarzania danych.
Model współpracy: B2B | 100% zdalnie (z terytorium Polski) Rozpoczęcie świadczenia usług: ASAP – preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni.
Zakres usług
Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona.
Implementacja procesów ETL/ELT integrujących dane z API, baz danych oraz plików do Data Lake (AWS S3) i Snowflake.
Modelowanie i transformacja danych z wykorzystaniem dbt.
Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake.
Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych.
Implementacja mechanizmów kontroli jakości danych, w tym testów i walidacji.
Opracowywanie i aktualizacja dokumentacji technicznej dotyczącej dostarczanych rozwiązań.
Wymagania
Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering.
Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, Task Flow API, XCom, pools, backfills, idempotent DAG design).
Bardzo dobra znajomość Pythona, w tym tworzenia czytelnego, testowalnego kodu oraz testów z wykorzystaniem pytest.
Zaawansowana znajomość SQL (CTE, window functions, optymalizacja zapytań).
Praktyczne doświadczenie ze Snowflake (warehouses, stages, external volumes, COPY INTO).
Doświadczenie z dbt (models, tests, macros, snapshots, incremental models).
Znajomość AWS S3, architektury Data Lake, partycjonowania danych, formatów Parquet, JSON, CSV oraz polityk IAM.
Doświadczenie z Git i CI/CD.
Znajomość języka angielskiego na poziomie B2/C1.
Samodzielność w realizacji powierzonych usług, odpowiedzialność za jakość dostarczanych rozwiązań oraz umiejętność komunikacji z interesariuszami technicznymi i biznesowymi.
Mile widziane
Znajomość Docker i Kubernetes.
Doświadczenie z Apache Iceberg lub Delta Lake.
Znajomość narzędzi Data Quality i Data Observability (Great Expectations, Soda).
Doświadczenie w modelowaniu wymiarowym danych (Kimball).
Dziękujemy za wszystkie zgłoszenia!
Skontaktujemy się z wybranymi osobami.
#J-18808-Ljbffr
Data Engineer in Warsaw – pracodawca: TQLO SP. Z O.O.
TQLO SP. Z O.O. to doskonały pracodawca, który oferuje elastyczne warunki pracy w międzynarodowym środowisku, co pozwala na rozwój kariery w obszarze analizy danych. Pracując z zespołami Data, BI i Engineering, będziesz miał możliwość wpływania na kluczowe projekty oraz korzystania z nowoczesnych technologii w chmurze Azure. Nasza kultura pracy opiera się na współpracy i innowacyjności, co sprawia, że każdy pracownik ma szansę na osobisty i zawodowy rozwój.
