Разработка парсера для мониторинга товаров

Основная задача

Необходимо разработать программное обеспечение для мониторинга торговой площадки. Пользователь вставляет ссылку на выбранную категорию и город, после чего система начинает отслеживать появление новых товаров. При обнаружении нового товара информация мгновенно отправляется в Telegram-бота.

Ключевые требования

Функциональные

• Парсинг данных: ссылка на товар, цена, название и другие параметры.
• Интеграция с Telegram-ботом для отправки уведомлений.
• Высокая скорость работы: время от публикации товара до уведомления должно составлять 0-1 минуту.
• Поддержка работы от 150+ пользователей одновременно, у каждого - своя ссылка для мониторинга.
• Интенсивность запросов: в среднем 10 запросов в секунду на клиента.

Технические и бизнес-ограничения

• Обход систем защиты площадки (блокировки по IP, прокси, кукам).
• Требуется экономичное решение, так как подписка на сервис для пользователя составляет 2-5 тысяч. Использование платных прокси на каждый запрос нерентабельно.
• Необходимо рассмотреть решения с использованием кук, сессий, кэширования, подмены запросов для избежания бана.
• Возможно использование API мобильной и веб-версий площадки для увеличения скорости парсинга.

Этапы работ и условия

1. Разработка парсера: Создание стабильного, быстрого парсера с обходом блокировок.
2. Поддержка и гарантия: Обеспечение долгосрочной технической поддержки и стабильности работы софта.
3. Исходный код: Передача полного исходного кода проекта заказчику.
4. Доработка инфраструктуры: После реализации парсера требуется разработка:
   • Простой онлайн-кассы.
   • Административной панели.
   • Telegram-бота с расширенным функционалом.
   Детали этого этапа будут обсуждены отдельно.
5. Масштабируемость: Архитектура должна быть рассчитана на высокую нагрузку от большого количества одновременных пользователей.

Ожидаемый результат

Надежная, быстрая и экономичная система мониторинга, способная конкурировать по скорости (0-1 минута) и стабильности с существующими аналогами, но с оптимизированной под бизнес-модель стоимостью запросов.