Техническое задание: Разработка парсера данных
Цель проекта
Создание автоматизированного решения для сбора, структурирования и периодического обновления информации с целевого веб-ресурса, специализирующегося на рынке недвижимости.
Основные функциональные блоки для парсинга
- Объекты недвижимости: Сбор полных карточек объектов.
- Застройщики: Извлечение информации о компаниях-застройщиках.
- Группы застройщиков: Получение данных об объединениях и холдингах.
Технические требования
- Язык программирования: Python.
- Режим работы: Парсер должен быть настроен на периодический запуск для обновления данных (крон или аналогичный планировщик).
- База данных: Структура и тип СУБД (PostgreSQL, MySQL и т.д.) - на усмотрение исполнителя, с обоснованием выбора в предложении.
- Качество данных: Обеспечение целостности, обработка ошибок загрузки и дубликатов.
Ожидаемый результат
Готовое, работающее решение, состоящее из скрипта парсера, конфигурации для периодического запуска и схемы базы данных для хранения извлеченной информации. Код должен быть читаемым и сопровождаемым.