Comece agoraComece grátis

Observando ativos particionados acionarem um Dag downstream

Os Dags upstream sales_pipeline_v3 e downstream sales_report do exercício anterior estão implantados e prontos para rodar. O pipeline de vendas roda a cada minuto e emite um evento particionado daily_sales em cada execução, enquanto o relatório se preocupa apenas com a data; é exatamente para isso que serve o StartOfDayMapper. Hora de ver como eles trabalham juntos.

Siga estas etapas na ordem:

  1. Na visualização de Dags, ative primeiro o sales_report para que ele esteja pronto para reagir quando o evento do ativo chegar.
  2. Em seguida, ative o sales_pipeline_v3; ele roda a cada minuto e emite um evento particionado daily_sales em cada execução.
  3. Aguarde cerca de um minuto para o sales_pipeline_v3 concluir — o sales_report será acionado automaticamente a partir do evento do ativo.
  4. Abra o sales_report, vá até a aba Runs, abra a execução mais recente e encontre a Mapped Partition key no topo dos detalhes da execução.

Qual é o formato de data de Mapped Partition key?

Este exercicio faz parte do curso

Criando Pipelines de Dados com Airflow

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio