Техническое задание: Универсальный парсер сайтов
Необходимо разработать модуль для автоматизированного сбора данных с веб-сайтов, оснащенный удобным веб-интерфейсом для управления и настройки.
Ключевые функциональные требования
- Реализовать механизм загрузки и корректного разбора файлов sitemap.xml.
- Обеспечить поддержку различных форматов карт сайта:
- Стандартные XML-файлы.
- Сжатые файлы в формате .xml.gz.
- Произвольные структуры и дополнительные форматы (при необходимости).
- Создать интуитивно понятный веб-интерфейс для настройки параметров парсинга, запуска задач и просмотра результатов.
- Продумать архитектуру модуля для обеспечения его универсальности и возможности расширения функционала в будущем.
Ожидаемый результат
Готовое к использованию решение, позволяющее гибко настраивать и выполнять парсинг данных с различных сайтов через веб-браузер, с надежной обработкой карт сайта.