Автоматическая пауза при сбое DAG
Пайплайн мониторинга проверяет доступность API каждый час. Когда API уходит на техническое обслуживание, пайплайн раз за разом завершается с ошибкой и заваливает дежурный канал уведомлениями. Airflow умеет автоматически ставить DAG на паузу после нескольких последовательных сбоев — это позволяет избежать лишнего шума. Коллбэки при этом помогают фиксировать каждый сбой с контекстом о том, что именно пошло не так.
Вы объедините обе возможности, чтобы команда оставалась в курсе событий без лавины лишних оповещений.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение