Техническое задание: Восстановление работы планировщика Apache Airflow
Проблема
Обнаружена критическая неисправность в работе оркестратора задач Apache Airflow. Планировщик (scheduler) перестал функционировать, о чем свидетельствует сообщение об ошибке: "The scheduler does not appear to be running. Last heartbeat was received 1 day ago." Это приводит к полной остановке планирования новых задач и обновления списка DAG.
Цель работы
Необходимо диагностировать причину сбоя, устранить ее и полностью восстановить работоспособность планировщика Airflow, обеспечив стабильное выполнение задач по расписанию.
Требования к исполнителю
- Опыт администрирования и отладки Apache Airflow.
- Умение анализировать логи (scheduler logs, метабаза) для диагностики проблем.
- Знание типовых причин сбоя планировщика (проблемы с БД, deadlock, нехватка ресурсов, ошибки в DAG).
- Способность предложить и реализовать решение для восстановления и, при необходимости, настройки для предотвращения подобных сбоев в будущем.
Ожидаемый результат
- Планировщик Airflow запущен и стабильно отправляет heartbeat.
- Список DAG в веб-интерфейсе актуален и обновляется.
- Новые задачи успешно планируются и выполняются по расписанию.
- Предоставлен краткий отчет о причине сбоя и предпринятых действиях.