Airflow DAG
在 Airflow 中,数据流水线用有向无环图(Directed Acyclic Graph,简称 DAG)来表示。图中的节点表示要执行的任务,节点之间的有向连接表示任务之间的依赖关系。
将数据流水线表示为 DAG 很合理,因为有些任务必须先完成,后续任务才能开始。您可以将其类比为汽车工厂的装配线:任务按步骤累积,每个任务都可能依赖前序任务已完成。一个虚构的 DAG 可能如下所示:

首先组装车架,然后是车身和轮胎,最后再喷漆。我们来用代码复现上面的示例。
本练习是课程的一部分
Data Engineering 入门
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")