Многопоточный парсер коммерческих предложений

Описание задачи

Необходимо разработать скрипт, который на основе исходного CSV-файла с каталогом и артикулами товаров автоматически собирает актуальные коммерческие предложения с сайта autodoc.ru. Собранные данные должны записываться в структурированные файлы формата CSV или TXT.

Функциональные требования

• Входные данные: Парсер читает CSV-файл, содержащий два обязательных столбца - каталог и артикул.
• Парсинг данных: Для каждой строки исходного файла выполняется запрос к сайту autodoc.ru. Из ответа извлекаются все доступные предложения.
• Многопоточность: Реализовать одновременную работу сразу нескольких потоков для ускорения обработки. Необходимо избегать блокировок и излишней нагрузки на канал передачи данных.
• Работа через прокси: Все запросы к сайту должны осуществляться через предоставленный список прокси-серверов. IP-адрес исполнителя ни в коем случае не должен быть раскрыт.
• Сохранение результатов: Все собранные коммерческие предложения для всех артикулов должны быть записаны в выходной файл (CSV или TXT) - один файл для всех данных.
• Логирование ошибок: По каждому артикулу, по которому произошла ошибка (неверные прокси, недоступность страницы, отсутствие предложений), необходимо сделать запись в лог-файл. Лог должен содержать: сам артикул, дату и время ошибки, а также исчерпывающее описание типа сбоя.

Технические аспекты

• Язык выполнения: заказчик предпочитает Python.
• Файлы конфигурации: Требуется гибкая настройка: путь к входному CSV, путь к выходному CSV, пул прокси и количество потоков задаются отдельно.
• Обязателен ротатор прокси. Если прокси-сервер отвечает неудачей, сессия не прерывается - парсер автоматически пробует следующий прокси из списка.

Ожидаемый результат

Клиенту передаются: рабочий скрипт на Python с понятной документацией по запуску, показатели работы (скорость сканирования ~ 1000 SKU в час), а также чистые выходные разметочные файлы CSV или TXT с данными без логических дублей.