Задача

Разработать веб-скрапинг решение для мониторинга появления новых объявлений на доске объявлений. Особенность: сайт имеет механизмы задержки фиксации товаров - результата с одного запроса недостаточно, нужно производить серию запросов для каждого объявления. Требуется обойти антифрод-системы по IP без использования дорогих мобильных прокси.

Технические требования

  • Режим работы: Парсер получает ссылку на категорию с указанием города, выбранную клиентом, и непрерывно опрашивает указанную страницу (работа 24/7).
  • Триггер мониторинга: Как только на доске появляется новый товар, система в реальном времени фиксирует его.
  • Вывод данных: Отправка результата в Telegram-бота (ссылка на товар, название, цена и другие ключевые поля по модели данных площадки).
  • Обход антифрода: Необходимо решение, которое не требует покупки (или делает минимальным использование коммерческих прокси). Прямое указание от заказчика: «только решив задачу по экологии IP можно делать выгодный бизнес».
  • Стейк выделения доступов: Заказ клиентом тарифа = скорость его запросов:
    • 1 запрос/сек (обычный тариф)
    • 10 запросов/сек (максимальный тариф)
  • [Вывод] За счёт многократных обращений к серверу достигается минимальная задержка появления объявления (чем чаще опрашиваешь, тем быстрее зал; с одним запрос эффект не наступает).

Экономический фактор

Целевая стоимость для заказчика: тариф 1 запрос/сек около 1500-2000 руб. На рынке уже 4 прямых конкурента, работающих на технологии запросов. Решения на API работают аналогично - значит техническое решение есть. Если использовать покупные дорогие мобильные прокси за 2500 руб., модель рушится - нужно, чтобы способ обхода был экономически оправдан (скидывание работы целиком на краулер с использованием выгодной инфраструктуры).

Критерии качества

  • Скорость реакция от появления объявления до записи в канале: 1-2 минутная задержка (конкурент с API такая же). При многосегментном контенте гарантировать - до минуты.
  • Ресурс работать должен в однопоточном режиме LIEP4 для исключения жора трафика клиентом.
  • Минимальная потребность в поддержке - ежемесячная плюсовая абонентка рядом с разработки.