W skrócie
- Zadania: Twórz skalowalne systemy do zbierania danych z różnych źródeł online.
- Firma: Innowacyjna firma technologiczna z kulturą współpracy.
- Benefity: Atrakcyjne wynagrodzenie, benefity zdrowotne i możliwość pracy zdalnej.
- Pozostałe informacje: Dynamiczne środowisko z doskonałymi możliwościami rozwoju kariery.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na projekty badawcze.
- Kwalifikacje: 6+ lat doświadczenia w inżynierii oprogramowania lub danych.
Przewidywane wynagrodzenie mieści się w przedziale 121500 - 148500 zł za rok.
O projekcie:
Poszukujemy doświadczonego Senior Webscraping & Data Engineer, który zbuduje skalowalne systemy do zbierania danych z różnych źródeł online. Rola koncentruje się na niezawodnym, wydajnym webscrapingu oraz przekształcaniu publicznych, nieustrukturyzowanych informacji w zestawy danych dla zespołów badawczych i inwestycyjnych. Będziesz pracować z web scrapingiem, API, przetwarzaniem danych, automatyzacją oraz rozwiązaniami opartymi na AI.
Wymagania:
- 6+ lat doświadczenia w inżynierii oprogramowania lub danych.
- Silne doświadczenie w web scrapingu, crawlowaniu i automatycznym zbieraniu danych.
- Doskonałe umiejętności w Pythonie, w tym pandas.
- Silna znajomość SQL i baz danych.
- Dobra znajomość HTML, JavaScript, API i technologii webowych.
- Znajomość koncepcji sieciowych związanych z zbieraniem danych z sieci.
- Doświadczenie w budowaniu potoków danych.
- Zrozumienie algorytmów, struktur danych i jakości danych.
- Doświadczenie w zbieraniu danych na dużą skalę lub w rozproszonych systemach.
- Silne umiejętności rozwiązywania problemów i troubleshooting.
- Interesowanie się AI/LLM i technologiami agentowymi.
- Silne umiejętności komunikacyjne i współpracy.
Nice to Have:
- Doświadczenie z alternatywnymi danymi w finansach lub badaniach.
- Tło w organizacjach intensywnie przetwarzających dane.
- Doświadczenie w budowaniu narzędzi dla badaczy, analityków, quants lub naukowców zajmujących się danymi.
- Znajomość Airflow, Kafka, Docker lub Kubernetes.
- Doświadczenie z AWS lub innymi platformami chmurowymi.
- Znajomość narzędzi LLM, MCP, agentów lub autonomicznych przepływów pracy.
- Doświadczenie z danymi audio/wideo.
- Znajomość statystyki i analizy danych.
Codzienne zadania:
- Projektowanie i rozwijanie skalowalnych systemów web scrapingu i zbierania danych.
- Budowanie scraperów i crawlerów dla stron internetowych o różnych strukturach i technologiach.
- Zbieranie danych ze stron internetowych, API i dynamicznych źródeł online.
- Czyszczenie, przekształcanie i standaryzacja surowych danych.
- Poprawa dokładności, szybkości, zasięgu i niezawodności rozwiązań scrapujących.
- Rozwiązywanie problemów związanych ze zmianami na stronach internetowych, jakością danych i wydajnością.
- Budowanie zautomatyzowanych potoków do przetwarzania zebranych danych.
- Badanie technologii AI/ML i agentowych do ekstrakcji i walidacji.
- Wsparcie infrastruktury dla zbierania danych na dużą skalę.
- Implementacja monitorowania i kontroli jakości danych.
- Współpraca z badaczami i analitykami w celu zrozumienia potrzeb danych.
- Badanie nowych technologii i trudnych do pozyskania danych.
Senior Webscraping & Data Engineer in Warsaw – pracodawca: Link Group
Link Group to doskonały pracodawca, który oferuje elastyczne formy współpracy oraz możliwość pracy w hybrydowym modelu z biura w Warszawie. Nasza kultura pracy opiera się na dużej samodzielności, regularnych szkoleniach z ekspertami oraz realnym wpływie na rozwój innowacyjnych narzędzi i procesów, co stwarza wyjątkowe możliwości rozwoju zawodowego w dynamicznie zmieniającym się środowisku technologicznym.
