1. Техническое задание: Парсинг объявлений об автомобилях

2. Цель

Разработать парсер для сбора информации о продаже легковых автомобилей с международных площадок. Итоговая задача - выгрузить сырые данные, чтобы на их основе сделать список автомобилей для финальной загрузки на сайт заказчика.

3. Источники данных

Ниже представлен список сайтов для парсинга (видоизменен для конфиденциальности, данные хранятся у вас). Необходимо обработать:

  • Регион Дубай:
    • dubicars-аналог
    • dubizzle-портал по автомобилям
  • Корея:
    • encar-market (раздел частных авто)
  • США:
    • cars-portal
  • Киргизия:
    • mashina-analog (запрос всех маркетов)
  • Германия:
    • mobile-deals (русскоязычная версия)
  • Грузия:
    • myauto-service
  • Китай:
    • dongchedi-autolist (серия 1119)
    • che98online (листинг китайского паркинга)

4. Ожидаемый результат

  • Первичный сырой список автомобилей - без фильтрации.
  • Вы должны провести загрузку на ваш сервер или локальное хранилище для последующего анализа.
  • В списке необходимую инфу (марка, модель, цена, пробег, город, описание и рейтинги).

5. Технические требования

Для эффективной и бесперебойной работы сразу предусмотрите:

  • Наличие ротационных прокси.
  • Контроль сетевых задержек (таймауты на ответы от серверов).
  • Решения проблемы с капчей мелкими тайм-лулами.
  • HTML-/API- разбop для сложных страниц.
  • Запись данных (.csv, .xlsx или промежуточный script_formating к JSON).

6. Этапы работы

После успешного спарсинга данных клиент (то есть вы) пользуется черновиком ТЗ (этим) исключения вариант, исключится оттуда машины с не подходящими параметрами.

7. Анализ и коммуникация

Основываясь на задаче, после сборки-вы отдаете заказчику/хозяину портала листы скорее всего явно с временной выборкой в один аккумулятор без жесткой ненужной Обработке, затем самому куратор со статус manager должен сказать уже правильное перемешатровать > по итогу финал базы далее другая.

Пожалуйста учтите что прокси должны быть прид вне dep! : чтобы прогно хостинг был воз можня исклющительный рост проц деп либо конкретная система!