始める無料で始める

センサーを遅延可能にする

チームでは複数のパイプラインにわたって数十のセンサーを稼働させており、ワーカースロットがボトルネックになっています。reschedule モードでも、センサーが起動するたびに短時間スロットを占有してしまいます。遅延可能(deferrable)モードでは、待機処理をすべて Triggerer に委ねることで、この問題をさらに解消できます。Triggerer は非同期 I/O を使用する軽量プロセスであり、ワーカースロットを占有しません。

ここでは、この FileSensor を遅延可能モードに設定しましょう。

この演習はコースの一部です

Airflow によるデータパイプラインの構築

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する