Quando usar poke, reschedule ou deferrable
Sua equipe está revisando as configurações de sensores em três pipelines:
- Pipeline A: Um sensor verifica um arquivo que geralmente chega em até 10 segundos após o início do Dag.
- Pipeline B: Um sensor espera por um feed de dados de um parceiro que chega em algum momento dentro de uma janela de 4 horas. Há 20 sensores semelhantes executando simultaneamente.
- Pipeline C: Um sensor verifica um endpoint de API a cada 2 minutos e normalmente espera 15 minutos.
Qual combinação de modos de sensor é a mais adequada?
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio