W skrócie
- Zadania: Twórz i optymalizuj skalowalne potoki ETL/ELT oraz automatyzuj procesy inżynierii danych.
- Firma: AgileEngine, nagradzana firma tworząca oprogramowanie dla Fortune 500 i innowacyjnych startupów.
- Benefity: Konkurencyjne wynagrodzenie, budżety na edukację i aktywności zespołowe, elastyczny czas pracy.
- Pozostałe informacje: Mentorstwo, TechTalks i spersonalizowane plany rozwoju zawodowego.
- Dlaczego ta praca: Pracuj nad nowoczesnymi projektami i rozwijaj swoje umiejętności w dynamicznym środowisku.
- Kwalifikacje: 5+ lat doświadczenia z Databricks, PySpark i GCP, umiejętności analityczne.
Przewidywane wynagrodzenie mieści się w przedziale 54000 - 66000 zł za rok.
AgileEngine jest firmą z listy Inc. 5000, która tworzy nagradzane oprogramowanie dla marek z listy Fortune 500 oraz innowacyjnych startupów w ponad 17 branżach. Nasza kultura skoncentrowana na ludziach przyniosła nam wiele nagród za najlepsze miejsca pracy.
DLACZEGO WARTO DO NAS DOŁĄCZYĆ
Jeśli szukasz miejsca, w którym możesz się rozwijać, mieć wpływ i pracować z ludźmi, którym zależy, chętnie Cię poznamy!
O ROZWIĄZANIU
Szukamy Inżyniera Danych z doświadczeniem w Databricks i GCP, który pomoże w opracowywaniu skalowalnych procesów ETL/ELT oraz produkcji agentowych przepływów pracy w celu automatyzacji inżynierii danych.
WYMAGANIA
- 5+ lat praktycznego doświadczenia z Databricks i PySpark.
- Zaawansowane umiejętności SQL i przetwarzania danych.
- Praktyczne doświadczenie z GCP, szczególnie BigQuery.
- Doświadczenie z Delta Lake i nowoczesnymi architekturami jezior danych/lakehouse.
- Silne zrozumienie ETL/ELT, projektowania procesów danych, optymalizacji wydajności i jakości danych.
- Doświadczenie w budowaniu niezawodnych, skalowalnych rozwiązań danych klasy produkcyjnej.
- Silne umiejętności analityczne i rozwiązywania problemów.
- Zrozumienie praktyk inżynierii oprogramowania, w tym testowania, kontroli wersji, wdrażania, monitorowania i wsparcia produkcji.
POŻĄDANE UMIEJĘTNOŚCI
- Doświadczenie w rozwijaniu lub integrowaniu agentowych przepływów pracy, agentów AI lub rozwiązań automatyzacji przepływów pracy.
- Doświadczenie w zastosowaniu AI do automatyzacji inżynierii danych, walidacji, rozwiązywania problemów lub procesów operacyjnych.
- Znajomość frameworków orkiestracji i automatyzacji.
- Doświadczenie w rozwijaniu wielokrotnego użytku frameworków inżynierii danych i komponentów platformy.
- Ekspozycja na produkcję rozwiązań wspierających AI z odpowiednią walidacją, monitoringiem i nadzorem ludzkim.
CO BĘDZIESZ ROBIĆ
- Projektować, rozwijać i optymalizować skalowalne procesy ETL/ELT danych przy użyciu Databricks, PySpark i SQL.
- Budować i uruchamiać agentowe przepływy pracy w celu automatyzacji inżynierii danych i procesów operacyjnych, takich jak walidacja danych, identyfikacja problemów, rozwiązywanie problemów i wykonywanie przepływów pracy.
- Integracja możliwości agentowych z istniejącymi środowiskami Databricks, GCP, BigQuery i Delta Lake.
- Rozwijać procesy danych i rozwiązania przetwarzania w celu wsparcia nowych wymagań biznesowych i zbiorów danych.
- Budować wielokrotnego użytku frameworki i komponenty, które mogą być wykorzystywane w różnych przypadkach użycia inżynierii danych i biznesu.
- Implementować kontrole jakości danych, monitorowanie, walidację, obsługę wyjątków i kontrole produkcyjne.
- Optymalizować obciążenia PySpark i SQL pod kątem wydajności, niezawodności i skalowalności.
- Wsparcie testowania, wdrażania, produkcji i ciągłego doskonalenia rozwiązań danych i agentowych.
- Rozwiązywać złożone problemy danych i produkcji oraz wdrażać trwałe rozwiązania.
- Współpracować z zespołami biznesowymi, inżynierii danych i platformy w celu identyfikacji dalszych możliwości automatyzacji.
ZALETY I BENEFITY
- Profesjonalny rozwój: Mentorstwo, TechTalks i spersonalizowane plany rozwoju.
- Konkurencyjne wynagrodzenie: Wynagrodzenie w USD z budżetami na edukację, fitness i aktywności zespołowe.
- Ekscytujące projekty: Nowoczesne rozwiązania z firmami z listy Fortune 500 i najlepszymi firmami produktowymi.
- Elastyczny czas pracy: Elastyczny harmonogram z opcjami pracy zdalnej i biurowej.
Poznaj nasz proces rekrutacji. Każdy krok pomaga nam zrozumieć Twoje umiejętności i ogólne dopasowanie. Jeśli to będzie pasować, otrzymasz ofertę.
Data Engineer in Wrocław – pracodawca: AgileEngine, LLC.
AgileEngine to doskonały pracodawca, który stawia na rozwój swoich pracowników i oferuje wyjątkową kulturę pracy. Dzięki elastycznym godzinom pracy oraz możliwości pracy zdalnej, każdy może dostosować swoje obowiązki do swojego stylu życia, a liczne projekty dla klientów z listy Fortune 500 zapewniają satysfakcjonujące wyzwania zawodowe. Dodatkowo, firma inwestuje w rozwój zawodowy poprzez mentoring i programy edukacyjne, co czyni ją idealnym miejscem dla osób pragnących rozwijać swoje umiejętności w obszarze inżynierii chmurowej.
