Техническое задание: Устранение дублей товаров и ошибок 404

Проблема

После массовой загрузки товаров на сайт через файл Excel возникла техническая ошибка. На сайте появилось большое количество дублирующихся страниц товаров. Эти страницы:

• Отдают пользователям ошибку 404 (страница не найдена).
• Отсутствуют в административной панели сайта, поэтому их нельзя удалить стандартными средствами.
• При этом продолжают индексироваться внутренним поиском сайта, что создает проблемы для пользователей и ухудшает качество сайта.

Задача для специалиста

Необходимо:

1. Провести анализ базы данных и файловой системы сайта для выявления причины появления "фантомных" дублей.
2. Найти все дублирующиеся записи, которые ведут на 404 ошибку.
3. Разработать и реализовать решение для безопасного удаления этих дублей из индекса поиска и/или базы данных.
4. Обеспечить, чтобы в будущем при аналогичных операциях загрузки проблема не повторялась (предложить меры профилактики).

Требования к решению

• Решение должно быть безопасным и не затрагивать рабочие, оригинальные товары.
• Необходимо предоставить понятный отчет о проделанной работе и найденных проблемах.
• Желательно исправить проблему на уровне её возникновения, а не просто скрыть симптомы.