Задача

Необходимо выполнить техническую работу по устранению дублирующихся страниц интернет-магазина строительных материалов и инструмента.

Что нужно сделать

• Проанализировать отчет инструмента вебмастера, в котором найдены дубли страниц с вопросительным знаком (символ '?').
• Изучить текущие настройки сайта и выявить источник появления дублей (например, параметры фильтров, сортировка, пагинация).
• Составить и настроить корректный файл robots.txt для закрытия всех выявленных дублирующихся страниц от индексации.
• По возможности внести изменения на уровне фреймворка или ресурса, чтобы дубли не генерировались.
• Проверить корректность работы изменений после внесения правок.

Дополнительная информация

Тип сайта - интернет-магазин, основная аудитория - частные и профессиональные строители. Важно сохранить доступ к уникальным товарам и категориям, закрыв от индексации служебные параметры.