Configurando um sensor para produção
Seu pipeline usa um FileSensor para aguardar a chegada de um relatório CSV antes de processá-lo. No modo padrão poke, o sensor ocupa um slot de worker o tempo todo em que espera, mesmo quando o arquivo leva vários minutos para chegar.
Para produção, um sensor deve liberar o slot entre as verificações e ter um tempo limite de segurança para não esperar indefinidamente.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio