expand を使った複数エンドポイントの処理
チームでは複数の API エンドポイントからデータを取得していますが、エンドポイントの数が変わるたびに DAG を編集するのは非効率です。この演習では、そのような固定的なパイプラインをデータ駆動型に変えていきましょう。expand() を使うと、Airflow は実行時にエンドポイントの一覧を読み取り、各項目に対して 1 つのタスクインスタンスを自動的に生成します。これにより、エンドポイントの数が変わっても、パイプラインが自動的に対応できるようになります。
この演習はコースの一部です
