Задача

Необходимо перенастроить файл robots.txt для сайта, работающего на CMS «1С-Битрикс», чтобы разрешить индексирование ключевых страниц роботам искусственного интеллекта. Важно сохранить оптимальные параметры Disallow и при этом не ухудшить позиции в обычных поисковых системах.

Что требуется сделать:

• Добавить в robots.txt директивы для Crawler общего режима, ChatGPT-User, GPTBot, Google-Extended и других популярных ИИ-ботов;
• Определить список страниц, доступных для сканирования (основные разделы, внутренние поиски, статьи новости) и закрыть системные служебные директории Bitrix;
• Взаимодействие через Bitrix админку, правки вносить только через файл, без сторонних плагинов.

Дополнительные требования:

• Учесть уже установленные миграции, если сайт находился на обобщённых настройках;
• После внесения изменений провести тестовый парсинг - проверить ответ для выбранных маршрутов, чтобы подтвердить ошибки открытости;
• Предоставить краткую текстовую инструкцию по работе с пуеролианской настройкой для дальнейшего контроля.

Итоговый снаряд нужной файла сохранянеь сразу действующую.