Техническое задание: Блокировка вредоносных ботов на сайте
Проблематика
На веб-сайте наблюдается аномально высокий трафик от автоматических ботов (сканнеры, парсеры, боты для сбора данных и т.д.). Это создает несколько критических проблем:
- Высокая нагрузка на CPU хостинга: Постоянные запросы от ботов потребляют вычислительные ресурсы сервера, что вынуждает переходить на более дорогие тарифы хостинга.
- Искажение аналитики: Боты генерируют «пустой» трафик, который не представляет ценности для бизнеса, но существенно искажает данные в системах веб-аналитики (например, метрика), мешая корректному анализу поведения реальных пользователей.
- Короткие сессии: Боты, как правило, заходят на сайт на очень короткое время (1-2 секунды), что дополнительно «зашумляет» статистику.
Цель проекта
Разработать и внедрить эффективный механизм фильтрации и блокировки вредоносных бот-запросов, чтобы:
- Снизить нагрузку на процессор сервера.
- Очистить аналитику от нерелевантного трафика.
- Повысить доступность сайта для реальных пользователей.
- Оптимизировать расходы на хостинг.
Требования к решению
Основной функционал
- Автоматическое определение и фильтрация трафика от известных ботов (по User-Agent, поведенческим паттернам).
- Защита от более сложных ботов, имитирующих поведение человека (например, с использованием headless-браузеров).
- Минимизация ложных срабатываний, чтобы не блокировать реальных пользователей и легитных ботов (поисковые системы, социальные сети).
- Возможность добавления IP-адресов, подсетей или User-Agent в черный/белый списки.
Технические аспекты
- Решение должно быть масштабируемым и не создавать дополнительной существенной нагрузки на сервер.
- Предпочтительны реализации на уровне веб-сервера (например, Nginx), middleware (например, для Node.js, PHP-фреймворков) или с использованием специализированных сервисов/Firewall.
- Необходимо предоставить инструкцию по настройке и интеграции.
Результат
- Снижение нагрузки на CPU, фиксируемое в панели управления хостингом.
- Качественное очищение отчетов веб-аналитики от бот-трафика.
- Стабильная работа сайта под нагрузкой.