W skrócie
- Zadania: Twórz i wdrażaj potężne pipeline'y ETL/ELT w Pythonie dla projektów AI i ML.
- Firma: Inetum Polska, lider w transformacji cyfrowej z globalnym zasięgiem.
- Benefity: Elastyczne godziny pracy, fundowane szkolenia i konferencje technologiczne.
- Pozostałe informacje: Wsparcie w rozwoju kariery i przyjazna kultura pracy.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na przyszłość danych.
- Kwalifikacje: Doświadczenie w Pythonie, Databricks i ETL/ELT.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
Inetum Polska jest częścią globalnej grupy Inetum i prowadzi cyfrową transformację firm oraz instytucji publicznych poprzez doradztwo, infrastrukturę IT oraz zarządzanie aplikacjami, wdrażanie oprogramowania i rozwój oprogramowania na zamówienie.
Zakres obowiązków:
- Projektowanie, rozwijanie i wdrażanie opartych na Pythonie ETL/ELT pipeline'ów do migracji danych z lokalnego serwera MS SQL do Databricks.
- Zapewnienie efektywnego wczytywania historycznych zbiorów danych Parquet do Databricks.
- Implementacja walidacji, uzgadniania i kontroli jakości dla migrowanych danych.
- Obsługa mapowania schematów, transformacji pól i wzbogacania metadanych w celu standaryzacji zbiorów danych.
- Integracja zarządzania danymi, zapewnienia jakości i zgodności w działaniach migracyjnych.
- Optymalizacja pipeline'ów pod kątem szybkości i wydajności przy użyciu możliwości Databricks, takich jak Delta Lake, gdy to możliwe.
- Zarządzanie wykorzystaniem zasobów i harmonogramowaniem dużych transferów zbiorów danych.
- Współpraca z inżynierami AI, naukowcami danych i interesariuszami biznesowymi w celu określenia wzorców dostępu do danych dla nadchodzących POC AI.
- Współpraca z zespołami infrastruktury w celu zapewnienia bezpiecznych połączeń między systemami dziedzictwa a Databricks.
- Utrzymywanie dokumentacji technicznej dla wszystkich pipeline'ów danych.
- Przestrzeganie najlepszych praktyk w zakresie zarządzania danymi, zgodności i bezpieczeństwa przez cały proces migracji.
Wymagania:
- Udokumentowane doświadczenie w programowaniu w Pythonie w zadaniach związanych z inżynierią danych, w tym PySpark i Pandas.
- Praktyczne doświadczenie z Databricks i ekosystemem Spark.
- Solidne zrozumienie koncepcji ETL/ELT, modelowania danych i orkiestracji pipeline'ów.
- Doświadczenie z Microsoft SQL Server, w tym bezpośrednie połączenia z bazą danych.
- Praktyczne doświadczenie w wczytywaniu danych Parquet i zarządzaniu dużymi historycznymi zbiorami danych.
- Znajomość bezpiecznych protokołów transferu danych między lokalnymi środowiskami a platformami chmurowymi.
- Silne umiejętności rozwiązywania problemów i zdolność do pracy samodzielnej.
Preferencje:
- Znajomość Delta Lake i strumieniowania strukturalnego w Databricks, doświadczenie w przygotowywaniu danych AI/ML, zrozumienie wymagań dotyczących zarządzania danymi i zgodności związanych z danymi klientów i umowami, znajomość Databricks Workflows lub Airflow, doświadczenie w konfigurowaniu środowisk Databricks od pierwszego użycia.
Warunki:
- Szkolenia, certyfikaty i udział w konferencjach technologicznych są w pełni finansowane.
- Elastyczne godziny pracy.
- System benefitów w postaci kafeterii.
- Premie za polecenia do 6000 PLN.
- Dodatkowe możliwości podziału przychodów za inicjowanie partnerstw z nowymi klientami.
- Dedykowane wsparcie menedżera zespołu.
- Mentoring techniczny od przypisanego lidera technicznego.
- Budżet na integrację zespołu na wydarzenia online i stacjonarne.
- Możliwości uczestnictwa w inicjatywach charytatywnych i lokalnych programach sportowych.
- Wsparcie i inkluzywna kultura pracy.
Data Engineer for AI and ML Projects in Katowice – pracodawca: Inetum
Inetum Polska to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w branży lotniczej, gdzie innowacje i technologia są na pierwszym miejscu. Pracownicy mają możliwość rozwoju zawodowego poprzez udział w zaawansowanych projektach z wykorzystaniem najnowszych technologii, takich jak Azure i Databricks, a także korzystają z kultury współpracy i wsparcia, co sprzyja wymianie wiedzy i doświadczeń. Dodatkowo, lokalizacja w Polsce zapewnia dostęp do różnorodnych zasobów oraz inspirującego otoczenia, co czyni tę rolę jeszcze bardziej atrakcyjną.
