Техническое задание: Настройка доступа для робота в системе защиты от ботов

Цель работы

Исключить блокировку и ограничения для целевого автоматизированного робота (краулера) в системе безопасности сайта. Робот должен получить полный доступ, аналогичный обычному пользователю.

Исходные данные

На целевом сайте активирована и настроена система защиты от нежелательных ботов и автоматических запросов.

Требуемые действия

• Проанализировать текущую конфигурацию системы защиты (например, Cloudflare, Яндекс.Огни, кастомные WAF-правила).
• Добавить следующие IP-адреса в белый список (Whitelist) системы, сняв для них все ограничения:

Список IP-адресов для разрешения:

• 91.201.54.189
• 185.93.111.252
• 91.201.55.156
• 91.201.55.109
• 91.201.54.136
• 91.201.54.126
• 91.226.82.114
• 91.226.82.168
• 91.201.54.166
• 91.201.54.87
• 91.201.55.134
• 91.201.55.110

Список подсетей (CIDR) для разрешения:

• 185.38.16.0/24
• 185.38.17.0/24
• 185.38.18.0/24
• 178.21.9.128/25

Критерии успешного выполнения

• Робот с указанных IP-адресов и подсетей больше не получает ответы с кодами ошибок 403, 429, 503 или страницами с CAPTCHA.
• Его запросы обрабатываются без задержек и ограничений по частоте.
• Изменения применены на всех необходимых уровнях защиты (веб-сервер, брандмауэр, CDN).
• Доступ для всех остальных неавторизованных ботов по-прежнему ограничен.

Порядок сдачи работы

Исполнитель должен предоставить краткий отчет о проделанных действиях: какая система защиты была настроена, какие правила или конфигурационные файлы были изменены. Рекомендуется проверить доступ робота с одного из указанных IP перед окончательной сдачей.