W skrócie
- Zadania: Twórz skalowalne ETL/ELT i automatyzuj procesy inżynierii danych.
- Firma: AgileEngine - nagradzana firma technologiczna z kulturą opartą na ludziach.
- Benefity: Konkurencyjne wynagrodzenie, rozwój zawodowy, elastyczny czas pracy i projekty dla topowych klientów.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami szybkiego rozwoju kariery.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na innowacyjne rozwiązania.
- Kwalifikacje: 5+ lat doświadczenia w Databricks, PySpark i GCP.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
AgileEngine to firma z listy Inc. 5000, która tworzy nagradzane oprogramowanie dla marek z listy Fortune 500 oraz innowacyjnych startupów w ponad 17 branżach. Nasza kultura skoncentrowana na ludziach przyniosła nam wiele nagród za najlepsze miejsca pracy.
Jesteśmy w poszukiwaniu Inżyniera Danych z doświadczeniem w Databricks i GCP, który będzie odpowiedzialny za rozwój skalowalnych procesów ETL/ELT oraz automatyzację przepływów danych.
CO BĘDZIESZ ROBIĆ:
- Projektować, rozwijać i optymalizować skalowalne procesy ETL/ELT przy użyciu Databricks, PySpark i SQL.
- Budować i operacjonalizować przepływy agentowe do automatyzacji procesów inżynierii danych i operacyjnych, takich jak walidacja danych, identyfikacja problemów, rozwiązywanie problemów i wykonywanie przepływów.
- Integracja możliwości agentowych z istniejącymi środowiskami Databricks, GCP, BigQuery i Delta Lake.
- Rozwijać procesy i rozwiązania przetwarzania danych wspierające nowe wymagania biznesowe i zestawy danych.
- Budować wielokrotnego użytku ramy i komponenty, które mogą być wykorzystywane w różnych przypadkach użycia inżynierii danych i biznesu.
- Wdrażać kontrole jakości danych, monitorowanie, walidację, obsługę wyjątków i kontrole produkcyjne.
- Optymalizować obciążenia PySpark i SQL pod kątem wydajności, niezawodności i skalowalności.
- Wspierać testowanie, wdrażanie, produkcję i ciągłe doskonalenie rozwiązań danych i agentowych.
- Rozwiązywać złożone problemy związane z danymi i produkcją oraz wdrażać trwałe rozwiązania.
- Współpracować z zespołami biznesowymi, inżynierii danych i platform, aby zidentyfikować dalsze możliwości automatyzacji.
WYMAGANIA:
- 5+ lat doświadczenia w pracy z Databricks i PySpark.
- Zaawansowane umiejętności SQL i przetwarzania danych.
- Doświadczenie z GCP, szczególnie BigQuery.
- Znajomość Delta Lake i nowoczesnych architektur jezior danych/lakehouse.
- Silne zrozumienie ETL/ELT, projektowania procesów danych, optymalizacji wydajności i jakości danych.
- Doświadczenie w budowaniu niezawodnych, skalowalnych rozwiązań danych produkcyjnych.
- Silne umiejętności analityczne i rozwiązywania problemów.
- Znajomość praktyk inżynierii oprogramowania, w tym testowania, kontroli wersji, wdrażania, monitorowania i wsparcia produkcji.
POŻĄDANE UMIEJĘTNOŚCI:
- Doświadczenie w rozwijaniu lub integrowaniu przepływów AI/agentowych, agentów AI lub rozwiązań automatyzacji przepływów.
- Doświadczenie w stosowaniu AI do automatyzacji inżynierii danych, walidacji, rozwiązywania problemów lub procesów operacyjnych.
- Znajomość frameworków orkiestracji i automatyzacji.
- Doświadczenie w rozwijaniu wielokrotnego użytku ram inżynierii danych i komponentów platformy.
- Ekspozycja na produkcję rozwiązań z wykorzystaniem AI z odpowiednią walidacją, monitorowaniem i nadzorem ludzkim.
ZALETY I BENEFITY:
- Profesjonalny rozwój: Przyspiesz swoją karierę dzięki mentoringowi, TechTalks i spersonalizowanym planom rozwoju.
- Konkurencyjne wynagrodzenie: Dopasowujemy Twoje rosnące umiejętności, talenty i wkład do konkurencyjnego wynagrodzenia w USD oraz budżetów na edukację, fitness i aktywności zespołowe.
- Wybór ekscytujących projektów: Dołącz do projektów z nowoczesnym rozwojem rozwiązań i czołowymi klientami, w tym przedsiębiorstwami z listy Fortune 500 i wiodącymi markami produktów.
- Elastyczny czas pracy: Dostosuj swój harmonogram dla optymalnej równowagi między życiem zawodowym a prywatnym, mając możliwość pracy zdalnej lub w biurze – cokolwiek sprawia, że jesteś najszczęśliwszy i najbardziej produktywny.
Każdy krok naszego procesu rekrutacji pomaga nam zrozumieć Twoje umiejętności i ogólne dopasowanie. Jeśli to będzie pasować, otrzymasz ofertę.
Data Engineer in Poznań – pracodawca: AgileEngine, LLC.
AgileEngine to doskonały pracodawca, który stawia na rozwój swoich pracowników i oferuje wyjątkową kulturę pracy. Dzięki elastycznym godzinom pracy oraz możliwości pracy zdalnej, każdy może dostosować swoje obowiązki do swojego stylu życia, a liczne projekty dla klientów z listy Fortune 500 zapewniają satysfakcjonujące wyzwania zawodowe. Dodatkowo, firma inwestuje w rozwój zawodowy poprzez mentoring i programy edukacyjne, co czyni ją idealnym miejscem dla osób pragnących rozwijać swoje umiejętności w obszarze inżynierii chmurowej.
