Настройка и автоматизация двух парсеров на сервере

Цель задачи

Развернуть и настроить два готовых парсера на сервере с Ubuntu/Debian. Парсеры уже написаны на Python и готовы к использованию. Необходимо организовать их автоматический запуск по расписанию через Cron и гарантировать стабильную круглосуточную работу.

Требования к настройке среды

• Создание изолированного виртуального окружения Python (virtualenv или python-venv) для каждого парсера.
• Установка всех необходимых библиотек и зависимостей из requirements.txt (или через pip install -e).
• Проверка конфигурационных файлов, путей, логов - чтобы парсеры были полностью готовы к запуску.

Создание скриптов для Cron

• Разработать shell-скрипты, которые активируют окружение каждого парсера и запускают соответствующий Python-скрипт.
• Обеспечить логирование вывода (stdout/stderr) в отдельные файлы с ротацией.
• Учесть возможные ошибки - добавить автоматические перезапуски при сбоях (опционально, если требуется).

Настройка планировщика Cron

• Добавить задачи в crontab для запуска по расписанию (например, скрапинг новых данных раз в N минут/часов).
• Убедиться, что пользователь, от имени которого работают парсеры, имеет корректный PATH, home директори.ий и разрешены командs python3 и bash.
• Провести тестовый запуск и подтвердить, что данные корректно собираются в указанные директории.

Мониторинг и стабильность

• Проверить, что парсеры не зависают, не падают по таймауту и не перегружают CPU/RAM.
• При необходимости настроить минимальную систему уведомлений об ошибках (например, через простое логирование ошибок в Sentry/телеграм бот).
• Оставить понятную инструкцию для исполнителя по перезапуску и обновлению скриптов.

Ожидаемый результат

Парсеры работают 24/7 - например: Parser A собирает данные с открытых источников каждые 10 минут; Parser B запускается раз в час и публикует результаты в выходную БД или CSV/JSON.

Результат ставится на получение через проверку логов и сырой выходкой.