W skrócie
- Zadania: Projektuj i buduj pipeline'y danych, integrując różne źródła i zapewniając ich jakość.
- Firma: Dynamiczna firma technologiczna z innowacyjnym podejściem do danych.
- Benefity: Atrakcyjne wynagrodzenie, elastyczne godziny pracy i możliwości rozwoju zawodowego.
- Pozostałe informacje: Możliwość pracy w chmurze i z dużymi wolumenami danych.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na rozwój AI/ML.
- Kwalifikacje: Minimum 4 lata doświadczenia w roli Data Engineera oraz znajomość Python i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 72000 - 88000 zł za rok.
Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli.
Bardzo dobra znajomość Python oraz SQL.
Doświadczenie w budowie i utrzymaniu pipeline'ów danych (ETL/ELT).
Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie).
Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych.
Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle).
Znajomość wektorowych baz danych i ich zastosowań w kontekście AI.
Doświadczenie w integracji z API.
Znajomość rozwiązań chmurowych (AWS, GCP lub Azure).
Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data.
Mile widziane:
- Doświadczenie w projektach wykorzystujących LLM (np. RAG).
- Znajomość narzędzi do orkiestracji danych (np. Airflow).
- Współpraca z zespołami ML / AI.
- Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe).
Zadania:
- Projektowanie, budowa i utrzymanie pipeline'ów danych (ETL/ELT).
- Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności.
- Modelowanie danych i projektowanie struktur bazodanowych.
- Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych).
- Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM).
- Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych.
- Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych.
- Monitorowanie i optymalizacja wydajności pipeline'ów oraz procesów danych.
- Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa.
Data Engineer (K/M) in Warsaw – pracodawca: Soflab Technology
Soflab Technology to wiodąca polska firma w obszarze testów oprogramowania, która stawia na rozwój swoich pracowników i oferuje im możliwość pracy z najnowszymi technologiami w dynamicznym środowisku. Oferujemy atrakcyjne wynagrodzenie, elastyczne formy współpracy oraz bogaty pakiet benefitów, w tym opiekę medyczną i kartę MultiSport, co sprawia, że jesteśmy doskonałym miejscem dla osób pragnących rozwijać swoje umiejętności w branży IT.
