Техническое задание: Настройка доступа для робота в системе защиты от ботов

Цель работы

Исключить блокировку и ограничения для целевого автоматизированного робота (краулера) в системе безопасности сайта. Робот должен получить полный доступ, аналогичный обычному пользователю.

Исходные данные

На целевом сайте активирована и настроена система защиты от нежелательных ботов и автоматических запросов.

Требуемые действия

Проанализировать текущую конфигурацию системы защиты (например, Cloudflare, Яндекс.Огни, кастомные WAF-правила).
Добавить следующие IP-адреса в белый список (Whitelist) системы, сняв для них все ограничения:

Список IP-адресов для разрешения:

91.201.54.189
185.93.111.252
91.201.55.156
91.201.55.109
91.201.54.136
91.201.54.126
91.226.82.114
91.226.82.168
91.201.54.166
91.201.54.87
91.201.55.134
91.201.55.110

Список подсетей (CIDR) для разрешения:

185.38.16.0/24
185.38.17.0/24
185.38.18.0/24
178.21.9.128/25

Критерии успешного выполнения

Робот с указанных IP-адресов и подсетей больше не получает ответы с кодами ошибок 403, 429, 503 или страницами с CAPTCHA.
Его запросы обрабатываются без задержек и ограничений по частоте.
Изменения применены на всех необходимых уровнях защиты (веб-сервер, брандмауэр, CDN).
Доступ для всех остальных неавторизованных ботов по-прежнему ограничен.

Порядок сдачи работы

Исполнитель должен предоставить краткий отчет о проделанных действиях: какая система защиты была настроена, какие правила или конфигурационные файлы были изменены. Рекомендуется проверить доступ робота с одного из указанных IP перед окончательной сдачей.

дизайн