Задача

Необходимо реализовать механизм, при котором поисковые роботы (например, Googlebot, YandexBot) получают доступ к содержимому сайта для индексации, но при попытке прямого перехода по URL со стороны реального пользователя сайт блокируется или перенаправляется.

Основные требования

  • Разграничение доступа: роботы работают штатно, люди - получают отказ (или пустую страницу).
  • Защита от обхода: механизм должен корректно определять именно поисковых роботов, а не простые скрипты или прокси.
  • Соответствие правилам поисковых систем: недопустимо использование скрытого текста или методов, ведущих к бану.

Ожидаемый результат

Сайт полностью индексируется поисковиками при обходе, но любой реальный пользователь, вбивающий адрес в браузер, не видит содержимого.

Область решения

  • Подойдет решение на уровне сервера (nginx/apache, блокировка по User-Agent) или на уровне скриптов (PHP/Python/Node.js).
  • Дополнительно можно реализовать проверку через обратную DNS-запись (PTR) для верификации роботов Яндекса и Гугла.

Специалист по контекстной рекламе для продажи металлопроката

Ищем специалиста для настройки и ведения контекстной рекламы в сфере оптовой и розничной продажи металлопроката по всему Казахстану. Целевая аудитория: строительные компании и промышленные предприятия.