Airflow-DAG's
In Airflow wordt een pipeline voorgesteld als een Directed Acyclic Graph, ofwel DAG. De knooppunten (nodes) in de grafiek stellen taken voor die worden uitgevoerd. De gerichte verbindingen tussen knooppunten geven de afhankelijkheden tussen de taken weer.
Een datapipeline als DAG voorstellen is logisch, omdat sommige taken moeten afronden voordat andere kunnen starten. Je kunt het vergelijken met een assemblagelijn in een autofabriek. Taken stapelen zich op, en elke taak kan afhankelijk zijn van het afronden van eerdere taken. Een fictieve DAG kan er zo uitzien:
Eerst monteer je het frame, daarna de carrosserie en de banden, en tot slot ga je spuiten. Laten we het voorbeeld hierboven in code nabouwen.
Deze oefening maakt deel uit van de cursus
Introductie tot Data Engineering
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")