Comece agoraComece grátis

Agendamento em assets particionados

Agora que o upstream emite eventos daily_sales particionados, o Dag de relatórios pode reagir a eles automaticamente, executando apenas para a partição que acabou de ser atualizada, em vez de reprocessar todas as datas. O upstream emite um timestamp completo, mas o relatório só se importa com a data do calendário; normalizar essa chave é exatamente o papel do StartOfDayMapper. Neste exercício, você vai agendar o relatório downstream no asset particionado e mapear cada evento para o seu dia.

O upstream já está preenchido no arquivo para dar contexto, e você verá os dois Dags funcionando juntos no próximo exercício.

Este exercicio faz parte do curso

Criando Pipelines de Dados com Airflow

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio