Airflow DAG:ar
I Airflow representeras en pipeline som en riktad acyklisk graf, eller DAG (Directed Acyclic Graph). Grafens noder representerar uppgifter som utförs. De riktade kopplingarna mellan noderna representerar beroenden mellan uppgifterna.
Att representera en datapipeline som en DAG är logiskt, eftersom vissa uppgifter måste slutföras innan andra kan påbörjas. Det liknar ett löpande band på en bilfabrik – uppgifterna bygger på varandra och varje steg kan vara beroende av att tidigare steg är klara. En fiktiv DAG kan se ut ungefär så här:
Ramen monteras först, sedan karosseriet och däcken, och till sist lackas bilen. Nu ska vi återskapa exemplet ovan i kod.
Den här övningen är en del av kursen
Introduktion till datatekniker
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")