Верстка и выравнивание блоков HTML сайта
Требуется устранить разъезжание и смещение блоков на существующем HTML-сайте. Необходим доступ по FTP для анализа и исправления кода.
Постановка задачи
Общие требования
Требуется создать автоматизированную систему для регулярного и высокоскоростного сбора данных с двух крупных интернет-площадок. Сумарный объем обрабатываемых данных составляет от 200 000 до 400 000 карточек товаров в сутки.
Цель 1: Парсинг продуктовой онлайн-витрины
- Объем: Около 200 000 карточек в сутки.
- География: Города Москва и Санкт-Петербург.
- Данные для сбора: Полная информация о товарах, включая актуальные цены, по выбранным торговым сетям.
Цель 2: Парсинг товарных агрегатора
- Объем: Порядка 100 000-200 000 карточек ежедневно.
- Источник: Обработка предварительно заданного списка URL-адресов товаров.
- Данные для сбора: Полная карточка товара, включая все имеющиеся ценовые предложения и список продавцов.
Критические требования к системе
- Устойчивость к блокировкам и антиботам целевых сайтов.
- Возможность работы со вспомогательными инструментами (прокси, ротация User-Agent и т.д.).
- Масштабируемость для обработки указанных объемов данных в сутки.