W skrócie
- Zadania: Twórz i utrzymuj potężne pipeline'y danych w Databricks i AWS.
- Firma: Vantage Point Global - innowacyjna firma konsultingowa z globalnym zasięgiem.
- Benefity: Możliwość rozwoju kariery, mentoring i ciągłe szkolenia.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami pracy z AI i ML.
- Dlaczego ta praca: Pracuj z najnowszymi technologiami i wpływaj na przyszłość danych.
- Kwalifikacje: 5+ lat doświadczenia w inżynierii danych oraz umiejętności w Pythonie i SQL.
Przewidywane wynagrodzenie mieści się w przedziale 90000 - 110000 zł za rok.
Vantage Point Global to firma doradcza założona w 2014 roku, która wspiera klientów w budowaniu ich talentów. Współpracuje z klientami na całym świecie i ma zespoły w Londynie, Manchesterze, Newcastle, Belfaście, Warszawie i Wrocławiu, z planami ekspansji do USA i Azji.
Zakres obowiązków:
- Architektura, rozwój i utrzymanie wydajnych potoków danych w Databricks i AWS;
- Wczytywanie, normalizacja i wzbogacanie dużych wolumenów danych strukturalnych i niestrukturalnych z różnych źródeł;
- Współpraca z inżynierami AI, naukowcami ML i zespołami programistycznymi w celu przekształcenia wymagań w skalowalne architektury danych, schematy i API;
- Optymalizacja wydajności potoków i kosztów przy użyciu technik przetwarzania rozproszonego oraz najlepszych praktyk AWS;
- Wdrażanie standardów zarządzania danymi, prywatności i pochodzenia;
- Katalogowanie zasobów w Unity Catalog i zarządzanie klasyfikacją PII/PCI;
- Budowanie zautomatyzowanych ram walidacji, testowania i monitorowania jakości danych;
- Wsparcie w integracji zewnętrznych dostawców danych, zapewniając zgodność i szybki czas realizacji;
- Ocena nowych narzędzi GenAI i prowadzenie dowodów koncepcji;
- Zarządzanie narzędziami i procesami związanymi z legalnym web crawlingiem i scrapingiem;
- Testowanie i walidacja danych pozyskanych przez scraping pod kątem dokładności, jakości i zgodności;
- Identyfikacja i rozwiązywanie problemów związanych z scrapingiem oraz skalowanie procesów w razie potrzeby.
Wymagania:
- Dyplom licencjata lub magistra w dziedzinie informatyki, inżynierii lub pokrewnej;
- Ponad 5-letnie doświadczenie w inżynierii danych lub pokrewnej roli;
- Silne umiejętności w Pythonie i SQL;
- Doświadczenie z Spark lub Scala oraz przetwarzaniem danych w rozproszonym środowisku;
- Biegłość w budowaniu skalowalnych, rozproszonych potoków danych w chmurze;
- Znajomość Linux/UNIX, HTTP, HTML, JavaScript i koncepcji sieciowych;
- Znajomość narzędzi i bibliotek do web scrapingu, w tym Requests, BeautifulSoup, Scrapy, Pandas, Selenium lub Spark;
- Znajomość systemów kontroli wersji i praktyk open-source;
- Solidne zrozumienie architektury danych, modelowania danych i hurtowni danych;
- Doskonale umiejętności analityczne i rozwiązywania problemów;
- Silne umiejętności pisania i mówienia w języku angielskim;
- Zaangażowanie w najwyższe standardy etyczne;
- Miło widziane: ekstrakcja tekstu z PDF-ów, obrazów i aplikacji; narzędzia do monitorowania systemów; bazy danych grafowe; analiza dużych zbiorów danych.
Warunki:
Aplikacja wymaga CV oraz odpowiedzi na kilka wstępnych pytań; Aplikanci, którzy nie otrzymają odpowiedzi w ciągu trzech tygodni od aplikacji, nie będą brani pod uwagę.
Data Engineer in Big Data and Web Scraping in Warsaw – pracodawca: Vantage Point Global
Vantage Point Global to doskonały pracodawca, który oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku. Pracując jako inżynier danych w Warszawie, będziesz częścią zespołu, który kładzie duży nacisk na ciągłe szkolenie i mentoring, co sprzyja osobistemu rozwojowi. Nasza kultura pracy opiera się na współpracy i innowacyjności, a także na etyce i odpowiedzialności, co czyni nas idealnym miejscem dla osób poszukujących satysfakcjonującej kariery w obszarze big data i web scrapingu.
