W skrócie
- Zadania: Pracuj nad platformą ML-ready, optymalizując przepływy danych i jakość danych.
- Firma: Globalny lider w inżynierii transformacji AI z ponad 30-letnim doświadczeniem.
- Benefity: Stabilne wynagrodzenie, pakiet benefitów, możliwość pracy zdalnej i programy rozwoju kariery.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju kariery i międzynarodowymi projektami.
- Dlaczego ta praca: Dołącz do zespołu innowatorów i wpływaj na rozwój technologii AI.
- Kwalifikacje: Doświadczenie w Pythonie, Spark oraz Azure Databricks, umiejętności współpracy w zespole.
Przewidywane wynagrodzenie mieści się w przedziale 49500 - 60500 zł za rok.
Poszukujemy Senior/Lead Data Software Engineer, który dołączy do naszego zespołu pracującego nad skalowalną platformą gotową do ML, która poprawia rozwój i wdrażanie modeli portfelowych z zaawansowanymi możliwościami zarządzania danymi i AI. Będziesz odgrywać kluczową rolę w migracji z platformy Big Data IaaS do natywnego Azure Databricks, optymalizując przepływy danych i poprawiając jakość danych. Dołącz do nas, aby przyczynić się do innowacyjnych rozwiązań, które zwiększają usługi dla klientów i zgodność z regulacjami.
Obowiązki:
- Migracja i optymalizacja ponad 500 zadań danych przy użyciu technik optymalizacji Azure Databricks
- Zarządzanie i przetwarzanie 12 TB danych efektywnie na różnych platformach
- Dostosowywanie modeli uczenia maszynowego dla środowisk Azure przy użyciu Java Spark i tabel Delta
- Aktualizacja i utrzymanie bibliotek w celu rozwiązania problemów z bezpieczeństwem
- Rozwój i utrzymanie pipeline'ów ETL/ELT przy użyciu PySpark i pokrewnych technologii
- Współpraca z zespołami międzyfunkcyjnymi w celu integracji możliwości GenAI w przepływach danych
- Monitorowanie jakości danych i wdrażanie ulepszeń w celu zapewnienia dokładności i niezawodności
- Automatyzacja zadań wdrożeniowych i operacyjnych przy użyciu Terraform i GitLab CI/CD
- Wsparcie inicjatyw związanych z zarządzaniem danymi w celu przestrzegania standardów regulacyjnych
- Rozwiązywanie problemów i usuwanie usterek w systemach przetwarzania danych
- Dokumentowanie procesów systemowych i udzielanie wskazówek technicznych młodszym inżynierom
- Wdrażanie najlepszych praktyk dotyczących jakości kodu i bezpieczeństwa danych
- Udział w przeglądach kodu i sesjach dzielenia się wiedzą
- Optymalizacja kosztów związanych z przechowywaniem i przetwarzaniem danych
Wymagania:
- Biegłość w Pythonie i Sparku z co najmniej 3-letnim doświadczeniem w rolach inżynierii danych
- Silne doświadczenie z Azure Databricks i PySpark
- Udokumentowane doświadczenie w projektowaniu i wdrażaniu rozwiązań ETL/ELT
- Doświadczenie w migracji platform big data do usług natywnych Azure
- Biegłość w tabelach Delta do dostosowywania modeli
- Znajomość ram zarządzania danymi i zgodności regulacyjnej
- Znajomość Docker, Kubernetes (AKS) i Terraform do automatyzacji infrastruktury
- Umiejętność zarządzania dużymi wolumenami danych z wysoką efektywnością
- Doskonałe umiejętności rozwiązywania problemów i analityczne
- Silne umiejętności komunikacyjne i współpracy
- Biegłość w języku angielskim na poziomie B2 lub wyższym
Oferujemy:
- Wsparcie zespołu i kultura pracy przypominająca startup
- Możliwość pracy zdalnej w Polsce
- Możliwość pracy za granicą przez maksymalnie 60 dni rocznie
- Programy rozwoju kariery
- Stabilne wynagrodzenie
- Pakiet benefitów (ubezpieczenie zdrowotne, multisport, bony zakupowe)
- Bonifikaty za polecenia do 2000 USD
Prosimy pamiętać: Wymienione powyżej benefity są dostępne tylko dla pracowników. Jesteśmy otwarci na współpracę z kontrahentami. Warunki umowy B2B są ustalane indywidualnie.
Senior/Lead Data Software Engineer (Python, Spark, Azure) in Kraków – pracodawca: EPAM Systems, Inc.
EPAM Systems Inc to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku technologicznym. Pracując jako Global SAP Commerce Cloud Architect w międzynarodowym zespole, będziesz miał dostęp do innowacyjnych projektów oraz wsparcia w zakresie szkoleń i certyfikacji, co pozwoli Ci na ciągły rozwój umiejętności. Nasza kultura pracy opiera się na współpracy, kreatywności i dążeniu do doskonałości, co czyni nas idealnym miejscem dla osób poszukujących satysfakcjonującej kariery w branży technologicznej.
