Comece agoraComece grátis

Sinalizando disponibilidade de dados com um Asset outlet

Sua equipe tem um pipeline que grava os dados diários de vendas em s3://data-lake/sales/daily.csv, e vários pipelines a jusante dependem dele. Em vez de fazer esses pipelines consultarem por tempo ou adivinharem quando o arquivo está pronto, você vai anexar um Asset outlet para que essa tarefa sinalize que os dados foram atualizados assim que terminar. Esse sinal é o que permite que outros Dags se agendem com base nos próprios dados.

Depois de concluir o código, execute o arquivo e, em seguida, verifique se o asset foi registrado e atualizado usando o Airflow CLI.

Este exercicio faz parte do curso

Criando Pipelines de Dados com Airflow

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio