Airflow DAGs
V Airflow je pipeline reprezentován jako Directed Acyclic Graph neboli DAG. Uzly grafu představují úlohy, které se spouštějí. Orientované spojení mezi uzly pak vyjadřuje závislosti mezi těmito úlohami.
Reprezentovat datový pipeline jako DAG dává velký smysl – některé úlohy musí být dokončeny dříve, než mohou začít jiné. Dá se to přirovnat k montážní lince v automobilové továrně. Úlohy na sebe navazují a každá z nich může záviset na dokončení těch předchozích. Ukázkový DAG může vypadat třeba takto:
Nejprve se sestaví rám, pak karoserie a pneumatiky a nakonec se auto nalakuje. Pojďme teď tento příklad reprodukovat v kódu.
Toto cvičení je součástí kurzu
Introduction to Data Engineering
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")