DAG in Airflow
In Airflow, una pipeline è rappresentata come un grafo aciclico diretto, o DAG. I nodi del grafo rappresentano le attività (task) da eseguire. Le connessioni dirette tra i nodi rappresentano le dipendenze tra le attività.
Rappresentare una data pipeline come un DAG ha molto senso, perché alcune attività devono terminare prima che altre possano iniziare. Puoi paragonarlo a una catena di montaggio in una fabbrica di automobili. I task si accumulano e ciascun task può dipendere dal completamento di quelli precedenti. Un DAG fittizio potrebbe essere simile a questo:
Per prima cosa si assembla il telaio, poi la carrozzeria e gli pneumatici e, infine, si vernicia. Riproduciamo l'esempio sopra in codice.
Questo esercizio fa parte del corso
Introduzione al Data Engineering
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")