Техническое задание: разработка парсера с обходом блокировок

Цель проекта

Создать надежное и автоматизированное решение для сбора данных с двух популярных интернет-ресурсов. Ключевой вызов - преодоление систем защиты от автоматического доступа.

Основные задачи

Задача 1: Работа с API в режиме инкогнито

  • Необходимо реализовать обращение к защищенному API-эндпоинту одного из сайтов.
  • Основная сложность заключается в получении или генерации корректных cookies для доступа.
  • Требуется найти решение, которое позволит либо выполнять запросы без использования cookies, либо полностью автоматически генерировать необходимые куки в каждом сеансе.
  • Желательно протестировать подход на запросе к категориям в контексте доставки.

Задача 2: Устойчивость к блокировкам

  • Решение должно быть стабильным и обходить стандартные методы обнаружения ботов.
  • Алгоритм должен работать в полностью автоматическом режиме без ручного вмешательства.

Требования к решению

  • Полная автоматизация процесса.
  • Устойчивость к изменениям в защите целевых сайтов.
  • Четкая и понятная документация к коду.