Segnalare la disponibilità dei dati con un Asset outlet
Il tuo team ha una pipeline che scrive i dati di vendita giornalieri su s3://data-lake/sales/daily.csv, e diverse pipeline a valle dipendono da essa. Invece di farle controllare periodicamente con un timer o indovinare quando il file è pronto, aggiungerai un Asset outlet così che questo task segnali che i dati sono stati aggiornati non appena termina. Questo segnale permette agli altri Dag di pianificarsi direttamente in base ai dati.
Dopo aver completato il codice, esegui il file, quindi verifica che l'asset sia stato registrato e aggiornato usando la CLI di Airflow.
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio