Criando um pipeline particionado
Um evento de asset simples avisa os consumidores downstream que "algo mudou", mas não qual fatia de dados. Na prática, as equipes de relatórios e analytics geralmente só precisam reprocessar a partição que realmente mudou, como um único dia, em vez de refazer tudo. As partições de assets carregam a chave da partição para downstream para que os consumidores possam reagir exatamente à fatia certa. Neste exercício, você vai agendar seu pipeline de vendas em uma programação diária por partição e emitir um evento particionado daily_sales a cada execução.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio