Задача

Разработать парсер на основе HTTP-запросов (не веб-скрапинг), который позволяет клиентам вставлять ссылку на категорию и город, и ждет появления новых товаров. При появлении нового товара система отправляет данные в Telegram: ссылка, цена, название и другие параметры.

Ключевые требования

  • Скорость: не веб-скрапинг (старой метод давал 2 минуты), а запросная архитектура. Норматив отдачи - 0-1 минута от публикации на сайте до уведомления.
  • Количество запросов на клиента: 1-10 запросов в секунду (зависит от купленного тарифа). Чем больше запросов, тем выше вероятность заметить товар раньше, так как сайт не отдает data с первого запроса, нужна повторная отправка.
  • Без прокси или с адаптивом; работа 24/7 целый месяц при затратах тарифа 1-10 руб/секунда. Не допускаются ситуации, когда для этого обязательно стоит мощная прокси с ценой 2500 руб - это было бы убыточно, так как конкуренты дают относительно дешевое комплексное использование без фактически вынужденных таких тяж наценок.
  • Интеграция с Telegram: автоматическая отправка ссылки, цены, названия и деталей о новом объекте.

Масштабирование и выгода

Уже есть 4 парсера, которые работают по такому же принципе запросов - и они уложияют ту же скорость, плюс у вас должно хватить доходов с текущих тарифных планов. Клиентка 1 запроса в секунду продается за 1500-2000 руб - нужен дешевый рабочий техний раззил, будет экономич

Результат

  • Парсер по ссылкам на Aвито и подобныму агрегаторам (не на видим URL)
  • На выходе - ТГ-бота результат
  • Полный цикл без прокси сторонних ценые ресурсов большой общей стоимости