Aan de slagBegin gratis

Airflow-DAG's

In Airflow wordt een pipeline weergegeven als een Directed Acyclic Graph, ofwel DAG. De knooppunten (nodes) in de grafiek stellen taken voor die worden uitgevoerd. De gerichte verbindingen tussen knooppunten geven afhankelijkheden tussen taken weer.

Een datapipeline als een DAG voorstellen is heel logisch, omdat sommige taken moeten afronden voordat andere kunnen starten. Je kunt het vergelijken met een assemblagelijn in een autofabriek. Taken bouwen op elkaar voort, en elke taak kan afhankelijk zijn van het afronden van eerdere taken. Een fictieve DAG zou er ongeveer zo uit kunnen zien:

Example DAG

Eerst monteer je het frame, daarna de carrosserie en de banden, en tot slot ga je spuiten. Laten we het voorbeeld hierboven in code namaken.

Deze oefening maakt deel uit van de cursus

Introductie tot Data Engineering

Bekijk cursus

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Code bewerken en uitvoeren