DAG in Airflow
In Airflow, una pipeline è rappresentata come un grafo aciclico diretto, o DAG. I nodi del grafo rappresentano le attività (task) da eseguire. Le connessioni dirette tra i nodi rappresentano le dipendenze tra le attività.
Rappresentare una data pipeline come un DAG ha molto senso, perché alcune attività devono terminare prima che altre possano iniziare. Puoi paragonarlo a una catena di montaggio in una fabbrica di automobili. I task si accumulano e ciascun task può dipendere dal completamento di quelli precedenti. Un DAG fittizio potrebbe essere simile a questo:
Per prima cosa si assembla il telaio, poi la carrozzeria e gli pneumatici e, infine, si vernicia. Riproduciamo l'esempio sopra in codice.
Questo esercizio fa parte del corso
Introduzione al Data Engineering
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")