Техническое задание: Парсер данных
Основная цель
Разработать скрипт для автоматизированного сбора (парсинга) данных с веб-ресурсов. Система должна обрабатывать списки запросов и извлекать по каждому из них до 10 позиций информации.
Ключевые требования
- Работа на запросах: Скрипт должен принимать на вход список поисковых или целевых запросов для обработки.
- Использование прокси: Обязательная интеграция работы через прокси-серверы для обхода ограничений.
- Многопоточность: Реализация многопоточной или асинхронной архитектуры для увеличения скорости сбора данных.
- Формат вывода: Все полученные данные необходимо структурированно записывать в файл формата Microsoft Excel (XLS/XLSX).
- Исходный код: Предоставление полного исходного кода проекта с комментариями.
Дополнительные пожелания
Заказчик готов рассмотреть предложения по оптимизации и расширению функционала. Приветствуется создание понятной и подробной документации к коду.