Техническое задание: Блокировка вредоносных ботов на сайте

Проблематика

На веб-сайте наблюдается аномально высокий трафик от автоматических ботов (сканнеры, парсеры, боты для сбора данных и т.д.). Это создает несколько критических проблем:

  • Высокая нагрузка на CPU хостинга: Постоянные запросы от ботов потребляют вычислительные ресурсы сервера, что вынуждает переходить на более дорогие тарифы хостинга.
  • Искажение аналитики: Боты генерируют «пустой» трафик, который не представляет ценности для бизнеса, но существенно искажает данные в системах веб-аналитики (например, метрика), мешая корректному анализу поведения реальных пользователей.
  • Короткие сессии: Боты, как правило, заходят на сайт на очень короткое время (1-2 секунды), что дополнительно «зашумляет» статистику.

Цель проекта

Разработать и внедрить эффективный механизм фильтрации и блокировки вредоносных бот-запросов, чтобы:

  • Снизить нагрузку на процессор сервера.
  • Очистить аналитику от нерелевантного трафика.
  • Повысить доступность сайта для реальных пользователей.
  • Оптимизировать расходы на хостинг.

Требования к решению

Основной функционал

  • Автоматическое определение и фильтрация трафика от известных ботов (по User-Agent, поведенческим паттернам).
  • Защита от более сложных ботов, имитирующих поведение человека (например, с использованием headless-браузеров).
  • Минимизация ложных срабатываний, чтобы не блокировать реальных пользователей и легитных ботов (поисковые системы, социальные сети).
  • Возможность добавления IP-адресов, подсетей или User-Agent в черный/белый списки.

Технические аспекты

  • Решение должно быть масштабируемым и не создавать дополнительной существенной нагрузки на сервер.
  • Предпочтительны реализации на уровне веб-сервера (например, Nginx), middleware (например, для Node.js, PHP-фреймворков) или с использованием специализированных сервисов/Firewall.
  • Необходимо предоставить инструкцию по настройке и интеграции.

Результат

  • Снижение нагрузки на CPU, фиксируемое в панели управления хостингом.
  • Качественное очищение отчетов веб-аналитики от бот-трафика.
  • Стабильная работа сайта под нагрузкой.