Creare un FileSensor
Dopo aver letto dei FileSensor, decidi di provare a implementarene uno di base per capire meglio alcuni dei parametri usati. Questo FileSensor serve ad assicurarsi che un determinato file di dati sia presente prima di procedere.
Un FileSensor verifica la presenza del file a intervalli regolari e smette di attendere quando sono trascorsi timeout secondi. Con mode='reschedule', lo slot del worker viene rilasciato tra un controllo e l'altro.
Questo esercizio fa parte del corso
Introduzione ad Apache Airflow in Python
Istruzioni dell'esercizio
- Importa la libreria appropriata per usare un FileSensor.
- Imposta
precheckcome riferimento all'oggetto FileSensor. - Fai in modo che il FileSensor cerchi il file "salesdata_ready.csv".
- Imposta il timeout a 5 minuti.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)