Senior Data Engineer in Katowice

Simple Machines to globalna, niezależna firma konsultingowa technologii działająca w Sydney, Nowej Zelandii, Londynie i Polsce. Projektujemy i budujemy nowoczesne platformy danych, inteligentne systemy oraz oprogramowanie na styku inżynierii danych, inżynierii oprogramowania i AI. Współpracujemy z przedsiębiorstwami, firmami rozwijającymi się oraz rządem, aby przekształcać chaotyczne, wartościowe dane w produkty, platformy i decyzje, które naprawdę mają znaczenie. Nie robimy rzeczy ogólnych. Budujemy rzeczy, które mają znaczenie - inżynierujemy dane do życia™.

To jest praktyczna rola inżynieryjna na poziomie seniora, nie tylko architektura ani funkcja wsparcia. Będziesz odpowiedzialny za kierunek techniczny, projektowanie platformy i podejmowanie decyzji architektonicznych. Zaprojektujesz i zbudujesz nowoczesne platformy danych, potoki w czasie rzeczywistym oraz produkty danych dla klientów, którzy poważnie podchodzą do wykorzystania danych. Będziesz pracować w małych, wysoko wykwalifikowanych zespołach i działać blisko problemu oraz klienta. Jeśli lubisz rozwiązywać trudne problemy związane z danymi, kształtować nowoczesne architektury (data mesh, produkty danych, kontrakty) i dostarczać realne wyniki — to jest twoja droga.

Co będziesz robić:

• Projektowanie platformy i architektury
  • Właściciel end-to-end architektury nowoczesnych, chmurowych platform danych
  • Projektowanie skalowalnych ekosystemów danych przy użyciu data mesh, produktów danych i kontraktów danych
  • Podejmowanie decyzji architektonicznych o dużym wpływie w zakresie warstw pobierania, przechowywania, przetwarzania i dostępu
  • Zapewnienie, że platformy są bezpieczne, zgodne i gotowe do produkcji od samego początku
• Budowanie nowoczesnych platform danych
  • Projektowanie i dostarczanie chmurowych platform danych przy użyciu Databricks, Snowflake, AWS i GCP
  • Zastosowanie nowoczesnych wzorców architektonicznych: data mesh, produkty danych i kontrakty danych
  • Integracja z systemami klientów, aby umożliwić skalowalny, zorientowany na konsumenta dostęp do danych
• Rozwój wysokowydajnych potoków
  • Budowanie i optymalizacja potoków wsadowych i w czasie rzeczywistym
  • Praca z technologiami opartymi na strumieniach i zdarzeniach, takimi jak Kafka, Flink, Kinesis, Pub/Sub
  • Orkiestracja przepływów pracy przy użyciu Airflow, Dataflow, Glue
• Praca na dużą skalę
  • Przetwarzanie i transformacja dużych zbiorów danych przy użyciu Spark i Flink
  • Projektowanie systemów, które działają w produkcji - nie tylko na papierze
• Własność przechowywania danych i wydajności
  • Praca z relacyjnymi, NoSQL i analitycznymi magazynami (Postgres, BigQuery, Snowflake, Cassandra, MongoDB)
  • Optymalizacja formatów przechowywania i wzorców dostępu (Parquet, Delta, ORC, Avro)
• Chmura, bezpieczeństwo i zarządzanie
  • Implementacja bezpiecznych, zgodnych rozwiązań danych z bezpieczeństwem od samego początku
  • Wbudowanie zarządzania bez zabijania prędkości dewelopera
• Konsultacje i wpływ
  • Bezpośrednia współpraca z klientami w celu zrozumienia problemów i kształtowania rozwiązań
  • Tłumaczenie potrzeb biznesowych na pragmatyczne decyzje inżynieryjne
  • Działanie jako zaufany doradca techniczny, a nie tylko wykonawca poleceń
• Przywództwo techniczne i jakość
  • Ustanawianie standardów inżynieryjnych, wzorców i najlepszych praktyk w zespołach
  • Przegląd projektów i kodu, zapewniając jasny kierunek techniczny i mentoring
  • Podnoszenie poprzeczki w zakresie jakości danych, testowania, obserwowalności i doskonałości operacyjnej

Czego szukamy:

• Podstawowe umiejętności inżynieryjne
  • Silna znajomość Pythona i SQL
  • Głębokie doświadczenie z Spark i nowoczesnymi platformami danych (Databricks / Snowflake)
  • Solidne zrozumienie usług danych w chmurze (AWS lub GCP)
• Ocena architektury i projektowania
  • Udokumentowane posiadanie architektur dużych platform danych
  • Silne umiejętności modelowania danych i zdolność podejmowania decyzji architektonicznych
  • Komfort w balansowaniu kompromisów między wydajnością, kosztami a złożonością
• Doświadczenie z platformami danych
  • Budowanie i obsługiwanie dużych potoków danych w produkcji
  • Silne umiejętności modelowania danych i oceny architektonicznej
  • Komfort z wieloma technologiami i formatami przechowywania
• Dyscyplina inżynieryjna
  • Doświadczenie w infrastrukturze jako kod (Terraform, Pulumi)
  • Pipelines CI/CD przy użyciu narzędzi takich jak GitHub Actions, ArgoCD
  • Ramowe testowanie danych i jakości (dbt, Great Expectations, Soda)
• Myślenie o dostawie i konsultacjach
  • Doświadczenie w środowiskach konsultingowych lub usług profesjonalnych
  • Silne instynkty konsultingowe — zdolność do kwestionowania założeń i prowadzenia klientów do lepszych wyników
  • Komfort w mentorowaniu starszych inżynierów i wpływaniu na kulturę techniczną

Dlaczego Simple Machines:

• Będziesz pracować nad interesującymi, mającymi duży wpływ problemami
• Będziesz budować nowoczesne platformy, a nie utrzymywać przestarzałe rozwiązania
• Będziesz otoczony przez starszych inżynierów, którzy naprawdę znają swój fach
• Będziesz miał autonomię, wpływ i przestrzeń do rozwoju

Jeśli jesteś starszym inżynierem danych, który chce budować właściwie, myśleć jasno i dostarczać realne wyniki - powinniśmy porozmawiać.