Задача

Улучшить производительность и отказоустойчивость парсера, написанного на Node.js (Puppeteer), обрабатывающего выдачу поисковой системы.

Требования по оптимизации

• Подбор эффективной стратегии работы с прокси (точки входа, ротация, проверка живучести).
• Реализация алгоритмов обхода ошибки 429 (Too Many Requests): использование задержек, управление частотами запросов, блоки, куки.
• Применение методов обхода защиты поисковой системы (user-agent клиоки, автоматические капчи, эмуляция поведения пользователя).
• Обеспечение стабильной и непрерывной работы скрипта в долгосрочной перспективе без сбоев и блокировок.
• Документирование изменений в коде и рекомендациях по батчевой настройке.