Техническое задание: Устранение дублей товаров и ошибок 404
Проблема
После массовой загрузки товаров на сайт через файл Excel возникла техническая ошибка. На сайте появилось большое количество дублирующихся страниц товаров. Эти страницы:
- Отдают пользователям ошибку 404 (страница не найдена).
- Отсутствуют в административной панели сайта, поэтому их нельзя удалить стандартными средствами.
- При этом продолжают индексироваться внутренним поиском сайта, что создает проблемы для пользователей и ухудшает качество сайта.
Задача для специалиста
Необходимо:
- Провести анализ базы данных и файловой системы сайта для выявления причины появления "фантомных" дублей.
- Найти все дублирующиеся записи, которые ведут на 404 ошибку.
- Разработать и реализовать решение для безопасного удаления этих дублей из индекса поиска и/или базы данных.
- Обеспечить, чтобы в будущем при аналогичных операциях загрузки проблема не повторялась (предложить меры профилактики).
Требования к решению
- Решение должно быть безопасным и не затрагивать рабочие, оригинальные товары.
- Необходимо предоставить понятный отчет о проделанной работе и найденных проблемах.
- Желательно исправить проблему на уровне её возникновения, а не просто скрыть симптомы.