失敗時にDAGを自動停止する

あるモニタリングパイプラインは、APIの稼働状況を1時間ごとに確認しています。APIがメンテナンスでダウンすると、パイプラインが繰り返し失敗し、オンコールチャンネルにアラートが大量に送られてしまいます。Airflowでは、連続した失敗が続いた場合にDAGを自動停止して通知の過多を防ぐことができます。また、コールバックを使うと、失敗のたびにその原因をコンテキストとともに記録できます。

この2つの機能を組み合わせて、チームに必要な情報を届けつつ、アラート疲れを防ぎましょう。