Processando vários endpoints com expand
Sua equipe busca dados de vários endpoints de API que mudam ao longo do tempo, e codificar uma tarefa separada para cada um significa editar o Dag sempre que um endpoint é adicionado ou removido. Neste exercício, você vai transformar esse pipeline rígido em um pipeline orientado por dados: com expand(), o Airflow lê a lista de endpoints em tempo de execução e cria uma instância de tarefa por item, para que o pipeline se ajuste automaticamente conforme o número de endpoints muda.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio