Observando ativos particionados acionarem um Dag downstream
Os Dags upstream sales_pipeline_v3 e downstream sales_report do exercício anterior estão implantados e prontos para rodar. O pipeline de vendas roda a cada minuto e emite um evento particionado daily_sales em cada execução, enquanto o relatório se preocupa apenas com a data; é exatamente para isso que serve o StartOfDayMapper. Hora de ver como eles trabalham juntos.
Siga estas etapas na ordem:
- Na visualização de Dags, ative primeiro o
sales_reportpara que ele esteja pronto para reagir quando o evento do ativo chegar. - Em seguida, ative o
sales_pipeline_v3; ele roda a cada minuto e emite um evento particionadodaily_salesem cada execução. - Aguarde cerca de um minuto para o
sales_pipeline_v3concluir — osales_reportserá acionado automaticamente a partir do evento do ativo. - Abra o
sales_report, vá até a aba Runs, abra a execução mais recente e encontre a Mapped Partition key no topo dos detalhes da execução.
Qual é o formato de data de Mapped Partition key?
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio