Senior Web Scraper in Warsaw

Wynagrodzenie: PLN 132,000 - PLN 194,500 rocznie

Opis firmy: W NIQ Digital Shelf, zbieranie danych to nie tylko gromadzenie informacji, ale także pokonywanie przeszkód, które stoją na drodze do widoczności. Każdego dnia przetwarzamy dziesiątki miliardów punktów danych z tysięcy źródeł, zarówno internetowych, jak i mobilnych, i przekształcamy je w użyteczne informacje dla najlepszych detalistów i marek na świecie.

Dołączysz do zespołu ponad 60 scraperów, inżynierów, analityków i miłośników danych z całego świata. Jako część naszego zespołu zajmującego się scrapingiem i badaniami i rozwojem, będziesz miał przestrzeń do eksperymentowania, przesuwania granic i realizowania śmiałych pomysłów. Będziesz ściśle współpracować z zespołem Customer Success, Operations i Data, aby zapewnić szybkie i skalowalne wydobycie wysokiej jakości, użytecznych danych.

To nie jest tylko praca programistyczna. Musisz myśleć jak haker, działać jak inżynier i zachowywać się jak wynalazca.

Opis stanowiska:

• Projektowanie i budowanie rozproszonych architektur scrapingowych, które mogą skalować się na tysiące domen.
• Odwrotne inżynierowanie API i aplikacji mobilnych przy użyciu narzędzi takich jak Frida, mitmproxy, Charles Proxy, burp i wielu innych.
• Wprowadzanie innowacji technicznych w scraping: identyfikowanie przypadków brzegowych, prototypowanie nowych podejść i dzielenie się wiedzą z zespołem.
• Ustawianie wykrywania anomalii i monitorowania, aby wcześnie wykrywać blokady lub awarie.

Wymagania:

• 5+ lat doświadczenia w Pythonie i projektach związanych z dużymi zbiorami danych.
• Myślisz niezależnie i lubisz rozwiązywać problemy, których nikt wcześniej nie rozwiązał.
• Znajomość strukturalnych formatów przechowywania (Parquet, Avro) lub przetwarzania strumieniowego w czasie rzeczywistym.
• Dobra znajomość baz danych, takich jak MongoDB, InfluxDB i Redis, w tym ich działanie i optymalizacja.
• Doświadczenie w symulacji rzeczywistych urządzeń do scrapingu mobilnego.
• Komfort w budowaniu i utrzymywaniu rozproszonych kolejek zadań (Celery, Kafka itp.).
• Doświadczenie w scrapingu platform o wysokim poziomie bezpieczeństwa lub środowisk mobilnych.
• Znajomość systemów Linux lub środowisk chmurowych (AWS, GCP itp.).
• Podstawowe zrozumienie Kubernetes, Cloud Run i Cloud Functions do wdrażania i orkiestracji obciążeń scrapingowych.

Dlaczego warto dołączyć do NIQ Digital Shelf:

• Będziesz miał możliwość eksperymentowania, wspierany przez zespół, który rozwija innowacje.
• Pracujesz z ludźmi, którzy naprawdę pasjonują się danymi i wiedzą, jak je dobrze wykorzystać.
• Twoje pomysły będą kształtować naszą strategię, narzędzia i sukces - nie będziesz tylko podążać za podręcznikiem; będziesz go pisać.
• Przyjazna i przejrzysta kultura pracy, konkurencyjne wynagrodzenie, elastyczne godziny pracy oraz możliwość szybkiego rozwoju w roli o dużym wpływie.

Informacje dodatkowe:

• Elastyczne środowisko pracy.
• Czas wolny na wolontariat.

NIQ może wykorzystywać narzędzia sztucznej inteligencji (AI) na różnych etapach procesu rekrutacji, w tym do przeglądania CV, ocen kandydatów, planowania rozmów kwalifikacyjnych, dopasowywania ofert pracy, wsparcia komunikacyjnego oraz niektórych zadań administracyjnych, które pomagają usprawnić przepływy pracy. Narzędzia te mają na celu poprawę efektywności i wspieranie sprawiedliwej oraz spójnej oceny na podstawie kryteriów związanych z pracą. Wszystkie zastosowania AI są regulowane przez zasady NIQ dotyczące sprawiedliwości, przejrzystości, nadzoru ludzkiego i inkluzji. Ostateczne decyzje dotyczące zatrudnienia podejmowane są wyłącznie przez ludzi. NIQ regularnie przegląda swoje narzędzia AI, aby pomóc w łagodzeniu uprzedzeń i zapewnieniu zgodności z obowiązującymi przepisami prawa. Jeśli masz pytania, potrzebujesz wsparcia lub chcesz poprosić o przegląd ludzki, jeśli zezwala na to prawo, skontaktuj się z lokalnym przedstawicielem HR. Aby uzyskać więcej informacji, odwiedź politykę bezpieczeństwa AI i zasady przewodnie NIQ: https://nielseniq.com/global/en/info/niqs-ai-safety-policies/.

O NIQ: NIQ jest wiodącą firmą zajmującą się inteligencją konsumencką, dostarczającą najbardziej kompleksowe zrozumienie zachowań zakupowych konsumentów i ujawniającą nowe ścieżki wzrostu. W 2023 roku NIQ połączyło się z GfK, łącząc dwóch liderów branży z niezrównanym zasięgiem globalnym. Dzięki holistycznemu odczytowi detalicznemu i najbardziej kompleksowym informacjom o konsumentach - dostarczanym z zaawansowaną analizą przez nowoczesne platformy - NIQ dostarcza Pełny Widok. Aby uzyskać więcej informacji, odwiedź NIQ.com.

Nasze zobowiązanie do różnorodności, równości i integracji: W NIQ jesteśmy zdecydowani na wspieranie inkluzywnego miejsca pracy, które odzwierciedla bogatą różnorodność społeczności i rynków, które obsługujemy. Wierzymy, że przyjęcie szerokiego zakresu perspektyw napędza innowacje i doskonałość. Wszystkie decyzje zatrudnienia w NIQ podejmowane są bez względu na rasę, kolor skóry, religię, płeć (w tym ciążę, orientację seksualną lub tożsamość płciową), pochodzenie narodowe, wiek, niepełnosprawność, informacje genetyczne, stan cywilny, status weterana lub jakąkolwiek inną cechę chronioną przez obowiązujące przepisy prawa. Zapraszamy osoby, które podzielają nasze zaangażowanie w inkluzyjność i równość, do dołączenia do nas w tworzeniu znaczącego wpływu. Aby dowiedzieć się więcej o naszych bieżących wysiłkach w zakresie różnorodności i integracji, odwiedź https://nielseniq.com/global/en/news-center/diversity-inclusion.