始める無料で始める

Airflow の DAG

Airflow では、パイプラインを有向非巡回グラフ（DAG）として表現します。グラフのノードは実行されるタスクを表し、ノード間の有向の接続はタスク間の依存関係を表します。

データパイプラインを DAG として表現するのは非常に理にかなっています。あるタスクが終わってから次のタスクが開始できる、という場合があるからです。これは自動車工場の組み立てラインに例えることができます。タスクは積み重なっていき、それぞれのタスクは前のタスクが完了していることに依存します。架空の DAG は次のようになります。

DAG の例

まずフレームを組み立て、次にボディとタイヤを取り付け、最後に塗装します。それでは、上の例をコードで再現してみましょう。

この演習はコースの一部です

データエンジニアリング入門

コースを見る

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
コードを編集して実行