W skrócie
- Zadania: Buduj i utrzymuj potężne silniki do zbierania danych z mediów społecznościowych.
- Firma: AWISEE to globalna agencja marketingu cyfrowego z międzynarodowym zasięgiem.
- Benefity: Praca zdalna, konkurencyjne wynagrodzenie i możliwości rozwoju zawodowego.
- Pozostałe informacje: Dynamiczne środowisko z szansami na rozwój kariery w innowacyjnej branży.
- Dlaczego ta praca: Zmieniaj sposób, w jaki marki zdobywają dane i osiągają sukces na rynku.
- Kwalifikacje: 4+ lata doświadczenia w web scrapingu i inżynierii danych.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
AWISEE to globalna agencja marketingu cyfrowego, specjalizująca się w SEO, Digital PR oraz marketingu KOL i influencerów. Pomagamy markom wchodzącym na nowe rynki lub rozwijającym się na istniejących, łącząc strategie krótkoterminowej widoczności z długoterminowymi rozwiązaniami wzrostu, aby osiągnąć znaczące, mierzalne wyniki.
Operujemy w Europie, Ameryce Północnej, Azji i na Bliskim Wschodzie, dostosowując strategie do każdego rynku pod kątem dopasowania kulturowego i zgodności. Specjalizujemy się w Tech & SaaS, Fintech, E-commerce, Crypto, iGaming oraz Travel, napędzając znaczący wzrost na całym świecie.
To jest zdalna pozycja. Poszukujemy Senior Data Infrastructure Engineer specjalizującego się w web scrapingu, omijaniu zabezpieczeń przed botami oraz dużej skali pobierania danych. W tej roli będziesz budować i utrzymywać rdzeń silnika pobierania danych, który zasila nasze laboratorium danych z mediów społecznościowych. Będziesz pokonywać złożone zabezpieczenia platform, aby dostarczać miliony rekordów profili, postów i filmów dziennie z niemal zerowym czasem przestoju.
Obowiązki:
- Budowanie odpornych na błędy, skalowalnych pipeline'ów web scrapingowych, które ekstraktują dane z Instagramu, TikToka, YouTube, X oraz źródeł internetowych.
- Projektowanie rozproszonych kolejek i silników roboczych (Temporal, Ray, Apache Kafka, Celery) do zarządzania milionami asynchronicznych zadań scrapingowych dziennie.
- Architektura środowisk przechowywania danych strukturalnych i niestrukturalnych (Parquet, Apache Iceberg, Snowflake, S3) dla modelowania AI.
- Implementacja automatycznych powiadomień o zmianach w UI/API platformy, wzorcach blokowania i awariach proxy.
Wymagania:
- 4+ lata doświadczenia w web scrapingu o wysokiej wydajności, inżynierii danych lub inżynierii odwrotnej.
- Mistrzostwo w Pythonie lub Go, z głęboką wiedzą na temat Playwright, Puppeteer, Scrapy lub Selenium.
- Doświadczenie z systemami rozproszonymi i kolejkami zadań (Temporal, Ray, Kafka, Redis).
- Silne umiejętności SQL i doświadczenie z nowoczesnymi jeziorami danych analitycznych / hurtowniami danych.
Preferowane kwalifikacje:
- Bezpośrednie doświadczenie w ekstrakcji treści wideo krótkiego formatu i metadanych użytkowników z TikToka, Instagrama i YouTube.
- Doświadczenie w integracji wyników scrapingu bezpośrednio z bazami danych wektorowych i kolejkami przetwarzania AI w czasie rzeczywistym.
Senior Data Infrastructure Engineer in Katowice – pracodawca: Awisee 2022
AWISEE to globalna agencja marketingu cyfrowego, która oferuje wyjątkowe możliwości rozwoju zawodowego w dynamicznym środowisku pracy. Dzięki zdalnemu modelowi pracy, nasi pracownicy cieszą się elastycznością oraz dostępem do międzynarodowych projektów, co sprzyja zdobywaniu cennego doświadczenia w branży. Wspieramy kulturę współpracy i innowacji, a także inwestujemy w rozwój naszych pracowników, co czyni nas doskonałym pracodawcą dla osób poszukujących satysfakcjonującej kariery w marketingu.
