Описание задачи

Необходимо разработать систему для автоматического сбора данных с витрины интернет-магазина. Система должна работать в режиме реального времени, так как ассортимент целевого магазина обновляется с высокой частотой. Это позволит оперативно отслеживать рыночные изменения и адаптировать собственное предложение.

Ключевые требования

  • Полное копирование каталога товаров (названия, характеристики, цены, артикулы, наличие).
  • Реализация фильтрации и поиска по скопированным данным на стороне вашего клиента (вашего программного интерфейса).
  • Механизм отслеживания изменений (парсинг в реальном времени либо с 매우 коротким интервалом).
  • Возможность импорта актуальных данных в собственную систему учета или корзину.
  • Устойчивость к блокировкам со стороны целевого сайта (обход профилирования).

Технические детали

Исполнитель должен понимать:

  • использование языков Python (asyncio/aiohttp) для высоконагруженного парсинга либо Node.js;
  • работу с динамическим контентом (загрузка товаров через AJAX или React/Vue).
  • архитектуру хранения данных (предпочтительно PostgreSQL + Redis для кэша).
  • разработку веб-интерфейса для просмотра скопированной витрины с фильтрами.
  • подбор прокси и ротацию User-Agent для обхода защит.

Результат работы

Должен быть предоставлен работающий скрипт или веб-приложение, которое: забирает всю номенклатуру постоянных конкурентов; обновляет базу при каждом мониторинге (режим "difference fetch"); предостовляет по API или в виде страницы поиск по названиям брендов, моделям и ценам.