W skrócie
- Zadania: Wykonuj migracje danych do Snowflake i wspieraj niezawodne przepływy pracy w Airflow.
- Firma: AgileEngine, nagradzana firma technologiczna z kulturą skoncentrowaną na ludziach.
- Benefity: Konkurencyjne wynagrodzenie, budżety na edukację i aktywności zespołowe oraz elastyczny czas pracy.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj nad nowoczesnymi projektami z Fortune 500 i rozwijaj swoje umiejętności.
- Kwalifikacje: Doświadczenie w inżynierii oprogramowania i znajomość Pythona oraz SQL.
Przewidywane wynagrodzenie mieści się w przedziale 49500 - 60500 zł za rok.
AgileEngine jest firmą z listy Inc. 5000, która tworzy nagradzane oprogramowanie dla marek z listy Fortune 500 oraz innowacyjnych startupów w ponad 17 branżach. Nasza kultura skoncentrowana na ludziach przyniosła nam wiele nagród za najlepsze miejsca pracy.
DLACZEGO WARTO DO NAS DOŁĄCZYĆ
Jeśli szukasz miejsca, w którym możesz się rozwijać, mieć wpływ i pracować z ludźmi, którym zależy, chętnie Cię poznamy!
O ROZPOCZĘCIU PRACY
Szukamy Data Engineera do realizacji migracji dużych platform danych do Snowflake oraz wsparcia niezawodnych procesów Airflow.
WYMAGANIA
- Silne podstawy inżynierii oprogramowania.
- 3+ lata praktycznego doświadczenia w programowaniu w Pythonie.
- Zaawansowane SQL, w tym złożone złączenia, CTE, funkcje okna i optymalizacja wydajności.
- Modelowanie danych w Snowflake.
- Apache Airflow – rozwijanie i testowanie potoków w Airflow i Pythonie.
- Apache Kafka.
- Apache Spark, w tym praktyczne doświadczenie z PySpark.
- Formaty danych Iceberg i Parquet.
- Doświadczenie w AWS, szczególnie S3 (jeziora danych, partycjonowanie i polityki cyklu życia).
- Doświadczenie w strategii testowania, z umiejętnością debugowania i testowania kodu.
- Co najmniej 2 lata doświadczenia w branży z dużymi zbiorami danych, w tym Airflow i Spark.
- Poziom angielskiego co najmniej średniozaawansowany.
MILE WIDZIANE
- Praktyczne doświadczenie z migracjami Snowflake (modernizacja hurtowni danych, optymalizacja wydajności i kosztów).
- Doświadczenie z migracjami Apache Airflow (aktualizacje wersji, zmiany wykonawców lub migracje platform).
- Doświadczenie w korzystaniu z narzędzi AI do rozwoju.
CO BĘDZIESZ ROBIĆ
- Pracować w zespole inżynierii danych, ściśle współpracując z zespołem platformy danych w celu wsparcia dużej modernizacji platformy danych.
- Wykonać migrację około 1 000 zbiorów danych do Snowflake.
- Dostosować istniejące potoki do Snowflake, zgodnie z podstawową architekturą i podejściem technicznym określonym przez wewnętrzny zespół.
- Zadbać o jakość i niezawodność danych w trakcie procesu migracji.
- Wsparcie w harmonogramowaniu i monitorowaniu procesów w Apache Airflow.
- Wykonywać migracje czasowo wrażliwe, w tym migrację z Airflow 2 do 3, migrację regionu Confluent oraz przejście do Iceberg.
- Pomóc przyspieszyć inicjatywy migracyjne, które mają być zakończone do końca marca 2027.
ZALETY I BENEFITY
- Rozwój zawodowy: Mentorstwo, TechTalks i spersonalizowane plany rozwoju.
- Konkurencyjne wynagrodzenie: Wynagrodzenie w USD z budżetami na edukację, fitness i aktywności zespołowe.
- Ekscytujące projekty: Nowoczesne rozwiązania z firmami z listy Fortune 500 i najlepszymi firmami produktowymi.
- Elastyczny czas pracy: Elastyczny grafik z opcjami pracy zdalnej i biurowej.
Poznaj nasz proces rekrutacji:
Aplikacja → Wyzwanie programistyczne → Rozmowa wideo → Rozmowa techniczna lub rozmowa z menedżerem ds. zatrudnienia. Każdy krok pomaga nam zrozumieć Twoje umiejętności i ogólne dopasowanie. Jeśli to będzie pasować, otrzymasz ofertę.
Data Engineer in Gdańsk – pracodawca: AgileEngine
AgileEngine to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w obszarze technologii chmurowych. Nasza kultura opiera się na współpracy i innowacyjności, co sprzyja rozwojowi zawodowemu pracowników. Dodatkowo, praca w międzynarodowym zespole pozwala na zdobycie cennych doświadczeń oraz rozwijanie umiejętności w projektach o globalnym zasięgu.
