始める無料で始める

Airflow の DAG

Airflow では、パイプラインは有向非巡回グラフ（Directed Acyclic Graph、略して DAG）として表現します。グラフのノードは実行されるタスクを表し、ノード間の有向エッジはタスク間の依存関係を表します。

データパイプラインを DAG で表すのはとても理にかなっています。というのも、あるタスクは別のタスクが終わってからでないと開始できないからです。これは自動車工場の組立ラインにたとえられます。タスクは順に積み上がり、各タスクは前のタスクの完了に依存することがあります。架空の DAG は次のようなイメージです。

Example DAG

最初にフレームを組み立て、次にボディとタイヤを取り付け、最後に塗装します。では、上の例をコードで再現してみましょう。

この演習はコースの一部です

データエンジニアリング入門

コースを見る

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
コードを編集して実行