Техническое задание: Оптимизация парсера для динамического контента

Проблема

Существующее решение для сбора данных с веб-страниц работает неэффективно. Текущая функция критически увеличивает время выполнения задачи из-за парсинга отрендеренного текста на странице или выполнения повторных HTTP-запросов.

Цель

Кардинально повысить скорость обработки данных, которые динамически подгружаются на страницу с помощью JavaScript.

Основные требования

• Переработать или полностью заменить текущую функцию парсинга.
• Обеспечить максимально быструю обработку динамически загружаемых данных.
• Исключить методы, замедляющие работу: парсинг итогового текста со страницы и дублирующие запросы.
• Реализовать перехват и анализ сетевых запросов (XHR/Fetch), которые страница отправляет для подгрузки данных, либо предложить другое высокопроизводительное решение.
• Настроить отправку целевого запроса для получения необходимой информации.
• Обязателен подтвержденный опыт работы с указанной платформой.

Ожидаемый результат

Стабильное, быстрое решение для извлечения данных, которое обходит ограничения, связанные с рендерингом JavaScript на стороне клиента.