Техническое задание: Система парсинга данных с маркетплейса
Необходимо разработать автоматизированную систему для сбора и анализа данных с крупной торговой онлайн-платформы.
Основные цели проекта
- Автоматический сбор актуальной информации о товарах из категории "Электроника".
- Организация удобного хранения и обработки полученных данных.
- Создание механизма для оперативного реагирования на изменения на рынке.
Ключевые функциональные требования
1. Парсинг данных
- Регулярный сбор информации: наименование товара, цена, наличие, ключевые характеристики.
- Обход возможных технических ограничений площадки.
- Настройка периодичности обновления данных.
2. Система оповещений
- Реализация функции отслеживания минимальной цены на каждый товар или группу товаров.
- Настраиваемые пороги для срабатывания уведомлений.
- Выбор каналов оповещения (например, email, Telegram-бот) на усмотрение исполнителя с обоснованием.
3. Экспорт данных
- Возможность выгрузки собранной информации в файлы популярных форматов (например, CSV, Excel, JSON).
- Настройка состава выгружаемых данных (выбор полей).
- Автоматизация регулярной выгрузки по расписанию.
Дополнительные пожелания
- Исполнитель может предложить альтернативную, более удобную или эффективную архитектуру решения.
- Приветствуются предложения по визуализации данных (графики, диаграммы изменения цен).
- Важны надежность работы и стабильность системы при длительной эксплуатации.
Результат работы
Готовая к работе система с исходным кодом, инструкцией по развертыванию и управлению, а также технической документацией.