始める無料で始める

Assetアウトレットによるデータ利用可能シグナルの送信

チームには、毎日の売上データを s3://data-lake/sales/daily.csv に書き込むパイプラインがあり、複数のダウンストリームパイプラインがそのデータに依存しています。タイマーでポーリングしたり、ファイルの準備完了を推測したりする代わりに、Assetアウトレットを追加して、タスクが完了した瞬間にデータが更新されたことをシグナルとして送信できるようにしましょう。このシグナルにより、他のDAGがデータそのものをトリガーにスケジュールできるようになります。

コードを完成させたらファイルを実行し、Airflow CLIを使ってAssetが登録・更新されたことを確認しましょう。

この演習はコースの一部です

Airflow によるデータパイプラインの構築

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する