Osservare asset partizionati che attivano un Dag a valle
I Dags a monte sales_pipeline_v3 e a valle sales_report dell'esercizio precedente sono distribuiti e pronti all'uso. La pipeline delle vendite viene eseguita ogni minuto ed emette a ogni esecuzione un evento daily_sales partizionato, mentre il report si interessa solo alla data; è proprio per questo che esiste StartOfDayMapper. È ora di vederli lavorare insieme.
Segui questi passaggi nell'ordine:
- Nella vista Dags, attiva prima
sales_reportcosì è pronto a reagire quando arriva l'evento dell'asset. - Poi attiva
sales_pipeline_v3; viene eseguito ogni minuto ed emette a ogni esecuzione un eventodaily_salespartizionato. - Attendi circa un minuto che
sales_pipeline_v3finisca:sales_reportverrà quindi attivato automaticamente dall'evento dell'asset. - Apri
sales_report, vai alla scheda Runs, apri l'ultima esecuzione e trova la Mapped Partition key in alto nei dettagli dell'esecuzione.
Qual è il formato della data di Mapped Partition key?
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio