W skrócie
- Zadania: Projektuj i rozwijaj skalowalne rozwiązania przetwarzania danych z użyciem Scala i Apache Spark.
- Firma: DAC.digital - dynamiczna firma w branży technologii finansowych.
- Benefity: Atrakcyjne wynagrodzenie, możliwość pracy zdalnej oraz rozwój zawodowy.
- Pozostałe informacje: Elastyczne godziny pracy i możliwość pracy w zespole zdalnym.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na innowacyjne projekty w finansach.
- Kwalifikacje: Doświadczenie w Scala, Apache Spark oraz umiejętności w zarządzaniu projektami.
W DAC.digital nieustannie rozwijamy naszą działalność i wzmacniamy naszą pozycję na rynku. W ramach naszej strategii wzrostu nawiązujemy strategiczne partnerstwo z jednym z wiodących dostawców infrastruktury rynków finansowych na świecie.
Wymagania:
- silne doświadczenie w Scala i Apache Spark w projektowaniu i rozwijaniu rozwiązań do przetwarzania danych w rozproszonym środowisku;
- praktyczne doświadczenie z Databricks i Zeppelin Notebooks w projektach inżynieryjnych i analitycznych;
- biegłość w korzystaniu z usług Google Cloud Platform (GCP) do skalowalnych rozwiązań opartych na chmurze;
- zaawansowana znajomość SQL do skomplikowanego zapytań, modelowania danych i optymalizacji wydajności;
- doświadczenie w budowaniu, planowaniu i monitorowaniu procesów ETL przy użyciu Apache Airflow;
- praktyczna znajomość Jira i Confluence w celu zarządzania projektami i dokumentacją w metodykach zwinnych;
- znajomość języka angielskiego (min. B2);
- udokumentowane doświadczenie w kierowaniu zespołami technicznymi;
- doświadczenie w zarządzaniu interesariuszami i dostosowywaniu rozwiązań technicznych do potrzeb biznesowych;
- silne umiejętności komunikacyjne, współpracy i prezentacji;
- praca w metodykach zwinnych (Scrum, Kanban);
- wysokie umiejętności komunikacyjne;
- chęć do nauki i dzielenia się wiedzą.
Preferowane umiejętności:
- Oracle Informatica (tylko do analizy obecnego systemu i przepływów pracy, nie jest wymagane rozwijanie nowych procesów);
- Scala;
- Spark;
- GCP;
- SQL;
- Databricks;
- Airflow;
- Jira;
- Confluence.
Obowiązki:
- wspieranie zespołu w projektowaniu, rozwijaniu i utrzymywaniu skalowalnych rozwiązań do przetwarzania danych przy użyciu Scala i Apache Spark;
- budowanie i optymalizacja procesów ETL w środowiskach opartych na chmurze na Google Cloud Platform (GCP);
- rozwijanie i utrzymywanie rozwiązań inżynieryjnych danych przy użyciu Databricks i Zeppelin Notebooks;
- pisanie, optymalizacja i rozwiązywanie problemów ze skomplikowanymi zapytaniami SQL w celu wsparcia wymagań biznesowych i analitycznych;
- orkiestrowanie, planowanie i monitorowanie przepływów danych przy użyciu Apache Airflow;
- zapewnienie jakości, niezawodności i wydajności danych w różnych platformach i procesach przetwarzania;
- współpraca z zespołami międzyfunkcyjnymi w celu zbierania wymagań i dostarczania rozwiązań opartych na danych;
- uczestnictwo w przeglądach kodu, testowaniu i ciągłym doskonaleniu najlepszych praktyk inżynierii danych;
- dokumentowanie rozwiązań technicznych i wyników projektów w Confluence;
- wspieranie procesów dostarczania w metodykach zwinnych poprzez efektywne wykorzystanie Jira do zarządzania zadaniami i współpracy.
Co oferujemy:
- możliwość pracy w 100% zdalnie lub stacjonarnie w naszym biurze w Gdańsku;
Data Engineer Scala/Spark in Gdańsk – pracodawca: DAC.digital Group
DAC.digital Group to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju w dynamicznej i innowacyjnej atmosferze. Jako lider technologii w Warszawie, będziesz miał wpływ na kształtowanie kultury zespołu oraz praktyk inżynieryjnych, a także możliwość współpracy z międzynarodowym zespołem ekspertów. Oferujemy elastyczne warunki pracy, wsparcie w rozwoju kariery oraz dostęp do nowoczesnych narzędzi i technologii.
Naszym zdaniem te umiejętności pozwolą ci błyszczeć jako Data Engineer Scala/Spark in Gdańsk
Scala
Apache Spark
Databricks
Zeppelin Notebooks
Google Cloud Platform (GCP)
SQL
ETL pipelines
