始める無料で始める

expand を使った複数エンドポイントの処理

チームでは複数の API エンドポイントからデータを取得していますが、エンドポイントの数が変わるたびに DAG を編集するのは非効率です。この演習では、そのような固定的なパイプラインをデータ駆動型に変えていきましょう。expand() を使うと、Airflow は実行時にエンドポイントの一覧を読み取り、各項目に対して 1 つのタスクインスタンスを自動的に生成します。これにより、エンドポイントの数が変わっても、パイプラインが自動的に対応できるようになります。

この演習はコースの一部です

Airflow によるデータパイプラインの構築

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する