Agendamento em assets particionados
Agora que o upstream emite eventos daily_sales particionados, o Dag de relatórios pode reagir a eles automaticamente, executando apenas para a partição que acabou de ser atualizada, em vez de reprocessar todas as datas. O upstream emite um timestamp completo, mas o relatório só se importa com a data do calendário; normalizar essa chave é exatamente o papel do StartOfDayMapper. Neste exercício, você vai agendar o relatório downstream no asset particionado e mapear cada evento para o seu dia.
O upstream já está preenchido no arquivo para dar contexto, e você verá os dois Dags funcionando juntos no próximo exercício.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio