Data Engineer in Kraków

AgileEngine jest firmą z listy Inc. 5000, która tworzy nagradzane oprogramowanie dla marek z listy Fortune 500 oraz innowacyjnych startupów w ponad 17 branżach. Nasza kultura skoncentrowana na ludziach przyniosła nam wiele nagród za najlepsze miejsca pracy.

DLACZEGO WARTO Z NAMI PRACOWAĆ

Jeśli szukasz miejsca, w którym możesz się rozwijać, mieć wpływ i pracować z ludźmi, którym zależy, chętnie Cię poznamy!

O ROZPOCZĘCIU PRACY

Szukamy Inżyniera Danych z doświadczeniem w Databricks i GCP, który pomoże w opracowywaniu skalowalnych pipeline'ów ETL/ELT oraz produkcji agentycznych workflow dla automatyzacji inżynierii danych.

WYMAGANIA

• 5+ lat praktycznego doświadczenia z Databricks i PySpark.
• Zaawansowane umiejętności SQL i przetwarzania danych.
• Doświadczenie z GCP, szczególnie BigQuery.
• Znajomość Delta Lake i nowoczesnych architektur lake/lakehouse.
• Silne zrozumienie ETL/ELT, projektowania pipeline'ów danych, optymalizacji wydajności i jakości danych.
• Doświadczenie w budowaniu niezawodnych, skalowalnych rozwiązań danych klasy produkcyjnej.
• Silne umiejętności analityczne i rozwiązywania problemów.
• Znajomość praktyk inżynierii oprogramowania, w tym testowania, kontroli wersji, wdrażania, monitorowania i wsparcia produkcji.
• Poziom angielskiego co najmniej średniozaawansowany.

MILE WIDZIANE

• Doświadczenie w rozwijaniu lub integrowaniu agentycznych workflow, agentów AI lub rozwiązań automatyzacji workflow.
• Doświadczenie w zastosowaniu AI do automatyzacji inżynierii danych, walidacji, rozwiązywania problemów lub procesów operacyjnych.
• Znajomość frameworków orkiestracji i automatyzacji.
• Doświadczenie w rozwijaniu wielokrotnego użytku frameworków inżynierii danych i komponentów platformy.
• Ekspozycja na produkcję rozwiązań wspierających AI z odpowiednią walidacją, monitoringiem i nadzorem ludzkim.

CO BĘDZIESZ ROBIĆ

• Projektować, rozwijać i optymalizować skalowalne pipeline'y danych ETL/ELT przy użyciu Databricks, PySpark i SQL.
• Budować i uruchamiać agentyczne workflow do automatyzacji inżynierii danych i procesów operacyjnych, takich jak walidacja danych, identyfikacja problemów, rozwiązywanie problemów i wykonywanie workflow.
• Integracja agentycznych możliwości z istniejącymi środowiskami Databricks, GCP, BigQuery i Delta Lake.
• Rozwijać pipeline'y danych i rozwiązania przetwarzania, aby wspierać nowe wymagania biznesowe i zestawy danych.
• Budować wielokrotnego użytku frameworki i komponenty, które mogą być wykorzystywane w różnych przypadkach użycia inżynierii danych i biznesu.
• Implementować kontrole jakości danych, monitorowanie, walidację, obsługę wyjątków i kontrole produkcyjne.
• Optymalizować obciążenia PySpark i SQL pod kątem wydajności, niezawodności i skalowalności.
• Wsparcie testowania, wdrażania, produkcji i ciągłego doskonalenia rozwiązań danych i agentycznych.
• Rozwiązywać złożone problemy danych i produkcji oraz wdrażać trwałe rozwiązania.
• Współpracować z zespołami biznesowymi, inżynierii danych i platformy w celu identyfikacji dalszych możliwości automatyzacji.

ZALETY I BENEFITY

• Profesjonalny rozwój: Mentorstwo, TechTalks i spersonalizowane plany rozwoju.
• Konkurencyjne wynagrodzenie: Wynagrodzenie w USD z budżetami na edukację, fitness i aktywności zespołowe.
• Ekscytujące projekty: Nowoczesne rozwiązania z firmami z listy Fortune 500 i czołowymi firmami produktowymi.
• Elastyczny czas pracy: Elastyczny grafik z opcjami pracy zdalnej i biurowej.

Poznaj nasz proces rekrutacji

• Aplikacja -> Wyjątkowe wyzwanie programistyczne -> Rozmowa wideo -> Rozmowa techniczna lub rozmowa z menedżerem ds. zatrudnienia.

Każdy krok pomaga nam zrozumieć Twoje umiejętności i ogólne dopasowanie. Jeśli to będzie pasować, otrzymasz ofertę.