Техническое задание: Парсер для двух веб-ресурсов
Основная задача
Разработать программное обеспечение для автоматизированного сбора данных с двух различных веб-сайтов. Система должна работать стабильно и незаметно для целевых платформ.
Ключевые требования
- Два источника данных: Один - крупная площадка с объявлениями, второй - ресурс, доступный только через удаленный рабочий стол (RDP).
- Авторизация: Вход на оба ресурса будет осуществляться под предоставленными учетными данными.
- Имитация человека: Парсер должен эмулировать поведение реального пользователя (человекообразные задержки, рандомизированные действия, работа с интерфейсом) для минимизации риска блокировки.
- Сбор данных: Извлечение заданной информации с обеих площадок. Контактные данные (телефоны, email) собирать не нужно.
- Технологии: Исполнитель вправе предложить оптимальный стек технологий для реализации (Python, Node.js, Selenium, Puppeteer, Scrapy и т.д.).
Ожидаемый результат
Работоспособный скрипт/программа, способная в автоматическом режиме, с заданной периодичностью, собирать требуемые данные с двух указанных ресурсов и сохранять их в удобном формате (например, JSON, CSV или базу данных).