Creare una pipeline partizionata
Un semplice evento di asset informa i consumer a valle che "qualcosa è cambiato", ma non quale porzione di dati. In pratica, i team di reportistica e analytics di solito hanno bisogno di rielaborare solo la partizione che è effettivamente cambiata, ad esempio un singolo giorno, invece di rieseguire tutto. Le partition degli asset propagano a valle la chiave di partizione così che i consumer possano reagire esattamente alla porzione giusta. In questo esercizio, programmerai la tua pipeline di vendite con una cadenza giornaliera basata su partizioni ed emetterai un evento daily_sales partizionato a ogni esecuzione.
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio