Разработка парсера недвижимости и управляющего бота
Основная задача
Создать надежную систему для автоматического сбора данных об объектах недвижимости с целевого веб-ресурса. Система должна состоять из двух основных модулей: парсера и телеграм-бота для управления.
Требования к парсеру
- Источник: Парсинг данных с сайта по недвижимости.
- Данные для сбора: Вся информация со страницы объявления, включая основные параметры (цена, площадь, местоположение и т.д.), а также ссылка на заглавное фото объекта.
- Производительность: Реализация с использованием асинхронных технологий, многопоточности и работы через прокси-серверы для обеспечения стабильности и скорости.
- Автоматизация: Ежедневный запуск по расписанию (крон).
- Хранение данных: Сохранение структурированных данных в базу данных.
Требования к боту
- Платформа: Телеграм-бот для управления системой и доступа к данным.
- Функционал: Бот должен предоставлять интерфейс для контроля работы парсера, просмотра собранной статистики и выполнения базовых операций с данными.
Деплой и сопровождение
- Развертывание готовой системы на сервере заказчика.
- Обеспечение стабильной круглосуточной работы.