Tornando um sensor adiável
Sua equipe executa dezenas de sensores em diferentes pipelines, e os slots dos workers estão virando um gargalo. Mesmo no modo reschedule, cada sensor ocupa um slot por um instante sempre que acorda para verificar. O modo adiável vai além ao transferir a espera completamente para o Triggerer, um processo leve que usa E/S assíncrona e nunca ocupa um slot de worker.
Você vai configurar este FileSensor para aproveitar a adiamento.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio