W skrócie
- Zadania: Projektuj i rozwijaj skalowalne rozwiązania danych w Azure i Databricks.
- Firma: Dynamiczna firma rekrutacyjna z partnerskim podejściem.
- Benefity: Prywatna opieka medyczna, dofinansowanie karty sportowej i wsparcie konsultanta.
- Pozostałe informacje: Możliwość rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na innowacyjne projekty.
- Kwalifikacje: Doświadczenie w Apache Spark, Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
DCG rozumie, że każda firma jest napędzana przez doświadczonych profesjonalistów. Nasz styl zarządzania i podejście partnerskie pozwalają nam spełniać Twoje potrzeby i zapewniać ciągłe wsparcie. Z powodu naszego ciągłego wzrostu oraz dużej liczby projektów rekrutacyjnych, które realizujemy dla naszych partnerów, obecnie poszukujemy:
Obowiązki:
- Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań danych w środowiskach Azure Synapse, Azure Databricks i Data Lakehouse
- Implementacja i optymalizacja procesów ETL/ELT do pobierania, przekształcania i udostępniania danych w różnych obszarach biznesowych
- Rozwój i utrzymanie rozwiązań przetwarzania danych przy użyciu Pythona, SQL i Apache Spark
- Wsparcie inicjatyw migracyjnych i modernizacyjnych, w tym adopcja Unity Catalog, aktualizacje platformy i transformacje platformy danych
- Budowanie i utrzymywanie przepływów pracy w Databricks, Delta Live Tables (DLT), ramki opartej na metadanych oraz procesów orkiestracji
- Współpraca z architektami, analitykami i interesariuszami biznesowymi w celu przekształcenia wymagań biznesowych w rozwiązania techniczne
- Zapewnienie jakości danych, niezawodności, wydajności i bezpieczeństwa w całej platformie danych
- Rozwiązywanie incydentów produkcyjnych, przeprowadzanie analizy przyczyn źródłowych i wdrażanie działań korygujących
- Udział w CI/CD, automatyzacji infrastruktury, monitorowaniu, logowaniu i najlepszych praktykach operacyjnych
- Optymalizacja potoków danych, struktur przechowywania i obciążeń przetwarzania w celu zwiększenia efektywności i redukcji kosztów
- Udział w przeglądach rozwiązań i architektury, promując standardy inżynieryjne i zasady zarządzania
- Wsparcie dzielenia się wiedzą, mentoringu i rozwoju technicznego w zespole
- Współpraca z architektami danych i zespołami platformowymi w celu dostosowania rozwiązań do architektury danych przedsiębiorstwa, zasad Lakehouse i wymagań dotyczących zarządzania
- Wsparcie raportowania, analityki i inicjatyw AI/ML poprzez zapewnienie niezawodnych i skalowalnych fundamentów danych
Wymagania:
- Silne doświadczenie z Apache Spark, Pythonem i SQL
- Udokumentowane doświadczenie w budowaniu i utrzymywaniu procesów ETL/ELT
- Praktyczne doświadczenie z Databricks, Delta Live Tables (DLT) i Unity Catalog
- Zrozumienie architektury Lakehouse, zarządzania danymi, bezpieczeństwa, zgodności i doskonałości operacyjnej
- Znajomość CI/CD, Azure DevOps, automatyzacji infrastruktury, monitorowania i logowania
- Silne umiejętności analityczne i rozwiązywania problemów
- Umiejętność pracy samodzielnej z wysokim poziomem odpowiedzialności i zaangażowania
- Proaktywne podejście do identyfikowania ryzyk, przeszkód i możliwości poprawy
- Silne umiejętności komunikacyjne i zarządzania interesariuszami w zespołach technicznych i biznesowych
- Doświadczenie w pracy w dynamicznych środowiskach z często zmieniającymi się priorytetami i zespołami międzyfunkcyjnymi
- Umiejętność podejmowania pragmatycznych decyzji i dostarczania wyników pomimo niepełnych wymagań
- Elastyczność, odporność, samodyscyplina oraz umiejętność samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań
- Znajomość języka angielskiego na poziomie co najmniej B2+
Oferta:
- Prywatna opieka medyczna
- Współfinansowanie karty sportowej
- Stałe wsparcie dedykowanego konsultanta
Senior Data Engineer in Katowice – pracodawca: DCG
DCG to doskonały pracodawca, który stawia na rozwój swoich pracowników i wspiera ich w dążeniu do sukcesu. Oferujemy atrakcyjne benefity, takie jak prywatna opieka medyczna oraz dofinansowanie do karty sportowej, a także dynamiczną kulturę pracy, która sprzyja współpracy i innowacjom. Pracując z nami, masz szansę na rozwój zawodowy w obszarze zarządzania tożsamością i dostępem, w otoczeniu doświadczonych specjalistów w branży IT.
Naszym zdaniem te umiejętności pozwolą ci błyszczeć jako Senior Data Engineer in Katowice
Apache Spark
Python
SQL
ETL/ELT processes
Databricks
Delta Live Tables (DLT)
Unity Catalog
