Ver cómo los assets particionados activan un Dag posterior
Los Dags ascendentes sales_pipeline_v3 y descendentes sales_report del ejercicio anterior están desplegados y listos para ejecutarse. El flujo de ventas se ejecuta cada minuto y emite un evento particionado daily_sales en cada ejecución, mientras que el informe solo se fija en la fecha; para eso sirve exactamente StartOfDayMapper. Es hora de ver cómo funcionan juntos.
Sigue estos pasos en orden:
- En la vista de Dags, activa primero
sales_reportpara que esté listo para reaccionar cuando llegue el evento del asset. - Luego activa
sales_pipeline_v3; se ejecuta cada minuto y emite un evento particionadodaily_salesen cada ejecución. - Espera alrededor de un minuto a que
sales_pipeline_v3termine; entoncessales_reportse activará automáticamente a partir del evento del asset. - Abre
sales_report, ve a la pestaña Runs, abre la última ejecución y busca la Mapped Partition key en la parte superior de los detalles de la ejecución.
¿Cuál es el formato de fecha de Mapped Partition key?
Este ejercicio forma parte del curso
Creación de canalizaciones de datos con Airflow
ejercicio interactivo práctico
Convierte la teoría en práctica con uno de nuestros ejercicios interactivos
Empezar ejercicio