Criando um FileSensor
Depois de ler sobre FileSensors, você decide implementar um básico para entender melhor alguns dos parâmetros usados com eles. Este FileSensor vai garantir que um arquivo de dados específico esteja presente antes de continuar.
Um FileSensor verifica o arquivo em intervalos regulares e para de esperar quando timeout segundos se esgotam. Com mode='reschedule', o slot do worker é liberado entre as verificações.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Importe a biblioteca apropriada para usar um FileSensor.
- Defina a referência
precheckpara o objeto FileSensor. - Faça o FileSensor procurar pelo arquivo "salesdata_ready.csv".
- Defina o timeout para 5 minutos.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)