W skrócie
- Zadania: Twórz nowoczesne platformy danych dla zrównoważonej energii i rozwiązuj inżynieryjne wyzwania.
- Firma: Sigma Software - innowacyjna firma technologiczna z kulturą współpracy.
- Benefity: Atrakcyjne wynagrodzenie, możliwość pracy zdalnej i rozwój zawodowy.
- Pozostałe informacje: Dynamiczne środowisko z doskonałymi możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj nad przełomowymi inicjatywami w dziedzinie energii fuzyjnej z nowoczesnymi technologiami.
- Kwalifikacje: 3+ lata doświadczenia w inżynierii danych i umiejętności współpracy w zespole.
Przewidywane wynagrodzenie mieści się w przedziale 49500 - 60500 zł za rok.
Dołącz do projektu kształtującego przyszłość zrównoważonej energii poprzez nowoczesne inżynierię danych i innowacje naukowe. Szukamy Inżyniera Danych, który pomoże w budowie skalowalnych platform danych w chmurze dla klienta z sektora deep-tech, pracującego nad jedną z najbardziej ambitnych inicjatyw dotyczących energii fuzyjnej na świecie. Będziesz pracować z nowoczesnymi technologiami danych rozproszonych, w tym Databricks, Apache Spark, AWS i Azure, rozwiązując złożone wyzwania inżynieryjne w środowisku intensywnie badawczym.
Projekt koncentruje się na budowaniu i rozwijaniu nowoczesnej platformy danych w chmurze wspierającej badania naukowe, analitykę i operacyjne przepływy pracy w dziedzinie energii fuzyjnej. Zespół opracowuje skalowalne rozwiązania przetwarzania danych rozproszonych, zapewniając wysokie standardy jakości danych, pochodzenia, zarządzania, powtarzalności i niezawodności operacyjnej.
Zakres obowiązków:
- Projektowanie, rozwijanie i utrzymywanie skalowalnych i niezawodnych platform danych oraz potoków dla przypadków użycia analitycznych i operacyjnych.
- Budowanie rozproszonych przepływów pracy przetwarzania danych przy użyciu Apache Spark, pySpark i Databricks.
- Rozwijanie i ewoluowanie rozwiązań danych w chmurze wykorzystujących usługi Azure i AWS.
- Modelowanie i optymalizacja struktur danych dla analityki, raportowania i konsumpcji downstream.
- Integracja danych z wielu heterogenicznych źródeł, zapewniając jakość, spójność i śledzenie danych.
- Implementacja kontroli jakości danych, walidacji schematów, śledzenia pochodzenia i procesów monitorowania.
- Optymalizacja wydajności, skalowalności, niezawodności i efektywności kosztowej potoków danych i infrastruktury.
- Ścisła współpraca z naukowcami, analitykami i zespołami inżynieryjnymi w celu przekształcenia wymagań biznesowych i badawczych w rozwiązania techniczne.
- Wkład w procesy CI/CD, automatyzację infrastruktury i najlepsze praktyki inżynieryjne.
- Badanie i wprowadzanie nowych technologii i podejść w ekosystemie inżynierii danych.
Wymagania:
- 3+ lata doświadczenia komercyjnego w inżynierii danych.
- 2+ lata praktycznego doświadczenia produkcyjnego z Databricks.
- Silna wiedza na temat Delta Lake, w tym architektura medalionu i optymalizacja tabel.
- Zaawansowana znajomość Pythona, pySpark i SQL.
- Dogłębna wiedza praktyczna na temat komponentów Databricks, w tym Unity Catalog, Lakeflow Jobs / Workflows i optymalizacji zadań.
- Praktyczne doświadczenie z usługami AWS, w tym S3, IAM, KMS oraz przynajmniej jedną z usług AWS Batch, ECR, EventBridge, Lambda lub API Gateway.
- Doświadczenie w projektowaniu asynchronicznych potoków danych opartych na zdarzeniach.
- Silna wiedza na temat Infrastructure as Code i praktyk CI/CD.
- Praktyczne doświadczenie z Terraform i pakietami zasobów Databricks.
- Doświadczenie w pracy z przepływami pracy Git, przeglądami pull requestów i testowaniem automatycznym.
- Zrozumienie bezpiecznych podejść do uwierzytelniania, takich jak OIDC i zasady usług.
- Praktyczne doświadczenie z MLflow, śledzeniem eksperymentów, rejestracją modeli i praktykami powtarzalności.
- Silne zrozumienie jakości danych, pochodzenia, kontraktów schematów i koncepcji pochodzenia.
- Doświadczenie z ramami jakości danych, takimi jak Great Expectations, Soda, pyDeequ lub Databricks DQX.
- Doświadczenie w monitorowaniu i optymalizacji niezawodności platformy danych oraz kosztów chmurowych.
- Poziom angielskiego co najmniej średniozaawansowany.
Warto dodać:
- Doświadczenie w pakowaniu obciążeń za pomocą Dockera i uruchamianiu obciążeń wsadowych w AWS.
- Znajomość ECR i rozwiązań przetwarzania danych w kontenerach.
- Doświadczenie z bibliotekami optymalizacji eksperymentów, takimi jak scikit-optimize, BoTorch, Ax lub scipy.
- Zrozumienie inżynierii cech ML i technik zapobiegania wyciekom.
- Doświadczenie w pracy w regulowanych lub wysokosekuracyjnych środowiskach.
- Znajomość zarządzania danymi, zgodności i wymagań dotyczących rezydencji danych.
- Doświadczenie w wyłączaniu lub ograniczaniu funkcji narzędzi wspomaganych AI w bezpiecznych środowiskach.
Data Engineer in Warsaw – pracodawca: Sigma Software
Sigma Software to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w branży technologii budowlanej. Pracownicy mają możliwość rozwoju zawodowego poprzez udział w architekturze aplikacji oraz współpracę z zespołami iOS, QA i backend, co sprzyja innowacyjności i kreatywności. Dodatkowo, firma stawia na nowoczesne narzędzia i metodyki, co sprawia, że praca tutaj jest nie tylko satysfakcjonująca, ale także pełna wyzwań.
