Sinalizando disponibilidade de dados com um Asset outlet
Sua equipe tem um pipeline que grava os dados diários de vendas em s3://data-lake/sales/daily.csv, e vários pipelines a jusante dependem dele. Em vez de fazer esses pipelines consultarem por tempo ou adivinharem quando o arquivo está pronto, você vai anexar um Asset outlet para que essa tarefa sinalize que os dados foram atualizados assim que terminar. Esse sinal é o que permite que outros Dags se agendem com base nos próprios dados.
Depois de concluir o código, execute o arquivo e, em seguida, verifique se o asset foi registrado e atualizado usando o Airflow CLI.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio