Разработка парсера для сбора данных о недвижимости
Требуется создать и поддерживать систему автоматического сбора данных с площадок объявлений о недвижимости. Основной фокус - на жилой и коммерческой недвижимости.
Цель проекта
Создать отказоустойчивую систему хранения и раздачи видео, которая выдерживает одновременную загрузку до 10 файлов без сбоев сервера.
Требования к backend
- Очередь конвертации видео с использованием Redis Queue
- Фоновые задачи для FFmpeg (перекодировка, изменение разрешения, формата)
- Автоматическое добавление задач в очередь после загрузки файлов
Требования к frontend
- Раздача готового видео через Nginx с кэшированием
- Проксирование на S3 для статики
- Настройка буферизации для плавного стриминга
Требования к инфраструктуре
- Подключение облачного хранилища S3 для хранения исходников и готового контента
- Логирование и мониторинг очереди конвертации
- Обработка ошибок и повторные попытки конвертации
Ожидаемый результат
Рабочий стек: VPS + Nginx + Redis Que ± FFmpeg, интегрированный с S3-совместимым хранилищем, с панелью администрирования (базовая).