Техническое задание: Восстановление работы планировщика Apache Airflow

Проблема

Обнаружена критическая неисправность в работе оркестратора задач Apache Airflow. Планировщик (scheduler) перестал функционировать, о чем свидетельствует сообщение об ошибке: "The scheduler does not appear to be running. Last heartbeat was received 1 day ago." Это приводит к полной остановке планирования новых задач и обновления списка DAG.

Цель работы

Необходимо диагностировать причину сбоя, устранить ее и полностью восстановить работоспособность планировщика Airflow, обеспечив стабильное выполнение задач по расписанию.

Требования к исполнителю

• Опыт администрирования и отладки Apache Airflow.
• Умение анализировать логи (scheduler logs, метабаза) для диагностики проблем.
• Знание типовых причин сбоя планировщика (проблемы с БД, deadlock, нехватка ресурсов, ошибки в DAG).
• Способность предложить и реализовать решение для восстановления и, при необходимости, настройки для предотвращения подобных сбоев в будущем.

Ожидаемый результат

• Планировщик Airflow запущен и стабильно отправляет heartbeat.
• Список DAG в веб-интерфейсе актуален и обновляется.
• Новые задачи успешно планируются и выполняются по расписанию.
• Предоставлен краткий отчет о причине сбоя и предпринятых действиях.