Kom igångKom igång gratis

Airflow-DAG:ar

I Airflow representeras en pipeline som en riktad acyklisk graf, eller DAG. Grafens noder representerar uppgifter som utförs. De riktade kopplingarna mellan noderna representerar beroenden mellan uppgifterna.

Att representera en datapipeline som en DAG är logiskt, eftersom vissa uppgifter måste slutföras innan andra kan starta. Du kan jämföra det med ett löpande band i en bilfabrik. Uppgifterna byggs upp i följd, och varje uppgift kan bero på att tidigare uppgifter är klara. En fiktiv DAG skulle kunna se ut ungefär så här:

Example DAG

Först monteras chassit, sedan karossen och däcken, och till sist målar du. Låt oss återskapa exemplet ovan i kod.

Den här övningen är en del av kursen

Introduktion till datatekniker

Visa kurs

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Redigera och kör kod