1. Техническое задание: Парсинг объявлений об автомобилях

2. Цель

Разработать парсер для сбора информации о продаже легковых автомобилей с международных площадок. Итоговая задача - выгрузить сырые данные, чтобы на их основе сделать список автомобилей для финальной загрузки на сайт заказчика.

3. Источники данных

Ниже представлен список сайтов для парсинга (видоизменен для конфиденциальности, данные хранятся у вас). Необходимо обработать:

Регион Дубай:
- dubicars-аналог
- dubizzle-портал по автомобилям
Корея:
- encar-market (раздел частных авто)
США:
- cars-portal
Киргизия:
- mashina-analog (запрос всех маркетов)
Германия:
- mobile-deals (русскоязычная версия)
Грузия:
- myauto-service
Китай:
- dongchedi-autolist (серия 1119)
- che98online (листинг китайского паркинга)

4. Ожидаемый результат

Первичный сырой список автомобилей - без фильтрации.
Вы должны провести загрузку на ваш сервер или локальное хранилище для последующего анализа.
В списке необходимую инфу (марка, модель, цена, пробег, город, описание и рейтинги).

5. Технические требования

Для эффективной и бесперебойной работы сразу предусмотрите:

Наличие ротационных прокси.
Контроль сетевых задержек (таймауты на ответы от серверов).
Решения проблемы с капчей мелкими тайм-лулами.
HTML-/API- разбop для сложных страниц.
Запись данных (.csv, .xlsx или промежуточный script_formating к JSON).

6. Этапы работы

После успешного спарсинга данных клиент (то есть вы) пользуется черновиком ТЗ (этим) исключения вариант, исключится оттуда машины с не подходящими параметрами.

7. Анализ и коммуникация

Основываясь на задаче, после сборки-вы отдаете заказчику/хозяину портала листы скорее всего явно с временной выборкой в один аккумулятор без жесткой ненужной Обработке, затем самому куратор со статус manager должен сказать уже правильное перемешатровать > по итогу финал базы далее другая.

Пожалуйста учтите что прокси должны быть прид вне dep! : чтобы прогно хостинг был воз можня исклющительный рост проц деп либо конкретная система!

код