W skrócie
- Zadania: Projektuj i rozwijaj skalowalne rozwiązania danych w chmurze.
- Firma: Dynamiczna firma technologiczna z innowacyjną kulturą pracy.
- Benefity: Atrakcyjne wynagrodzenie, benefity zdrowotne, praca zdalna i rozwój zawodowy.
- Pozostałe informacje: Świetne możliwości rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na rozwój danych w chmurze.
- Kwalifikacje: Doświadczenie w inżynierii danych i umiejętności współpracy w zespole.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Preferowane: AWS Glue, S3, EMR, Lambda, Airflow, Snowpipe/Snowpark, CI/CD, Terraform, modelowanie danych.
Skupienie: Inżynieria danych w chmurze, Lakehouse, transformacja danych, optymalizacja wydajności i inżynieria produkcji.
Doświadczenie: 8+ lat ogólnego doświadczenia w inżynierii danych, z silnym praktycznym doświadczeniem w budowaniu platform i potoków danych w chmurze na dużą skalę.
Umiejętności podstawowe:
- Python
- Snowflake
- dbt (Data Build Tool)
- Usługi danych AWS
- Zaawansowane SQL
- Architektura Data Lake / Lakehouse
Umiejętności dodatkowe / preferowane:
- Usługi AWS, takie jak: S3, AWS Glue, EMR, Lambda, Step Functions, CloudWatch, IAM
- Apache Airflow lub inne narzędzia do orkiestracji przepływu pracy
- Optymalizacja wydajności Snowflake i optymalizacja kosztów
- Snowpipe / Snowpark
- Optymalizacja wydajności Spark
- Modelowanie danych i modelowanie wymiarowe
- Frameworki jakości danych i automatyczna walidacja
- Infrastruktura jako kod, taka jak Terraform lub AWS CDK
- Docker / konteneryzacja
- Zarządzanie danymi, linia, bezpieczeństwo i kontrola dostępu
- Doświadczenie w dostarczaniu Agile/Scrum
Opis stanowiska: Szukamy starszego inżyniera danych z silnym praktycznym doświadczeniem w Pythonie, PySpark, Snowflake, dbt, Apache Iceberg i AWS, aby projektować, rozwijać i utrzymywać skalowalne rozwiązania danych dla przedsiębiorstw.
Kluczowe obowiązki:
- Projektowanie, rozwijanie, testowanie i utrzymywanie skalowalnych potoków danych ETL/ELT.
- Rozwój rozwiązań przetwarzania danych o jakości produkcyjnej przy użyciu Pythona i PySpark.
- Budowanie wielokrotnego użytku frameworków i komponentów do pobierania, transformacji, walidacji i publikacji danych.
- Przetwarzanie dużych zbiorów danych strukturalnych, półstrukturalnych i rozproszonych.
- Implementacja wzorców przetwarzania inkrementalnego i wsadowego tam, gdzie to odpowiednie.
Wymagania dotyczące umiejętności:
- Diagnostyka i optymalizacja zadań Spark/PySpark, zapytań SQL, obciążeń Snowflake i potoków danych.
- Identyfikacja wąskich gardeł związanych z obliczeniami, przechowywaniem, partycjonowaniem, rozkładem danych, transformacjami i zapytaniami.
- Projektowanie rozwiązań zdolnych do obsługi rosnących wolumenów danych bez niepotrzebnych kosztów infrastruktury.
Wymagania dotyczące kwalifikacji:
- Licencjat lub magisterium w dziedzinie informatyki, technologii informacyjnej, inżynierii lub pokrewnej dyscyplinie.
- Doświadczenie w migracji obciążeń danych z systemów dziedzicznych do nowoczesnych architektur AWS/Snowflake.
- Doświadczenie w pracy z bardzo dużymi zbiorami danych i przetwarzaniem rozproszonym.
- Znajomość praktyk bezpieczeństwa danych i zarządzania.
- Doświadczenie w pracy w środowiskach dostarczania Agile.
- Certyfikacja AWS i/lub Snowflake jest dodatkowym atutem.
Senior Data Engineer in Katowice – pracodawca: SRM Technologies
Nasza firma to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w obszarze inżynierii danych w chmurze. Oferujemy konkurencyjne wynagrodzenie, elastyczne godziny pracy oraz możliwości rozwoju zawodowego, w tym mentoring i szkolenia w najnowszych technologiach. Pracując z nami, będziesz częścią zespołu, który ceni innowacyjność i współpracę, a także ma dostęp do nowoczesnych narzędzi i technologii w inspirującym otoczeniu.
