Créer un FileSensor
Après avoir lu au sujet des FileSensors, vous décidez d'en implémenter un simple pour vous familiariser avec certains de leurs paramètres. Ce FileSensor servira à vérifier qu'un fichier de données précis est présent avant de poursuivre.
Un FileSensor interroge la présence du fichier à intervalles réguliers et arrête l'attente une fois que timeout secondes se sont écoulées. Avec mode='reschedule', l'emplacement du travailleur est libéré entre les interrogations.
Cette activité fait partie du cours
Introduction à Apache Airflow en Python
Instructions de l’exercice
- Importez la bibliothèque appropriée pour utiliser un FileSensor.
- Assignez la référence
precheckà l'objet FileSensor. - Configurez le FileSensor pour qu'il cherche le fichier "salesdata_ready.csv".
- Réglez le délai d'expiration (timeout) à 5 minutes.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)