Inizia subitoInizia gratis

Osservare asset partizionati che attivano un Dag a valle

I Dags a monte sales_pipeline_v3 e a valle sales_report dell'esercizio precedente sono distribuiti e pronti all'uso. La pipeline delle vendite viene eseguita ogni minuto ed emette a ogni esecuzione un evento daily_sales partizionato, mentre il report si interessa solo alla data; è proprio per questo che esiste StartOfDayMapper. È ora di vederli lavorare insieme.

Segui questi passaggi nell'ordine:

  1. Nella vista Dags, attiva prima sales_report così è pronto a reagire quando arriva l'evento dell'asset.
  2. Poi attiva sales_pipeline_v3; viene eseguito ogni minuto ed emette a ogni esecuzione un evento daily_sales partizionato.
  3. Attendi circa un minuto che sales_pipeline_v3 finisca: sales_report verrà quindi attivato automaticamente dall'evento dell'asset.
  4. Apri sales_report, vai alla scheda Runs, apri l'ultima esecuzione e trova la Mapped Partition key in alto nei dettagli dell'esecuzione.

Qual è il formato della data di Mapped Partition key?

Questo esercizio fa parte del corso

Creare data pipeline con Airflow

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio