Техническое задание: Парсер для мониторинга товаров

Основная задача

Необходимо разработать программное обеспечение для круглосуточного мониторинга одной из крупнейших российских досок объявлений. Система должна отслеживать появление новых товаров в выбранных пользователями категориях и городах, и мгновенно уведомлять о них.

Ключевые функциональные требования

  • Гибкость настройки: Клиенты самостоятельно вставляют ссылку на нужную категорию и город. Софт начинает мониторинг по этой ссылке.
  • Мгновенное оповещение: При обнаружении нового товара система отправляет данные в Telegram-бота. В уведомлении должна быть ссылка на товар, цена, название и другие ключевые параметры.
  • Высокая скорость: Время от публикации товара до отправки уведомления должно составлять 0-1 минуту, что соответствует скорости работы аналогов на рынке.
  • Устойчивость к блокировкам: Критически важное требование - обход систем защиты (фрода) без использования платных прокси на каждый запрос. Необходимо интеллектуальное решение с использованием кук, сессий, кэширования и других методов для работы с одного IP-адреса. Средняя нагрузка - около 10 запросов в секунду на одного клиента.
  • Масштабируемость: Архитектура должна быть рассчитана на одновременную работу минимум 150 пользователей с их уникальными ссылками для парсинга.

Этапы работ и требования к исполнителю

Этап 1: Разработка ядра парсера

  • Создание стабильного и быстрого парсера с обходом задержек и защитных механизмов площадки.
  • Гарантия работоспособности и скорость, сопоставимая с существующими на рынке решениями.
  • Передача полного исходного кода.

Этап 2: Доработка и поддержка

  • Обеспечение долгосрочной технической поддержки и гарантии работы софта.
  • Разработка дополнительных модулей: простая онлайн-касса, админ-панель для управления, Telegram-бот. Детализация требований - после успешной реализации парсера.

Условия сотрудничества

Проект рассчитан на долгосрочное сотрудничество. Оплата делится на две части: единовременная выплата за создание рабочего решения и ежемесячная оплата за его поддержку и обновление.