Créer un FileSensor
Après avoir lu des informations sur les FileSensors, vous décidez d’en implémenter un simple pour vous familiariser avec certains de leurs paramètres. Ce FileSensor sera conçu pour vérifier qu’un fichier de données spécifique est présent avant de continuer.
Un FileSensor scrute la présence du fichier à intervalles réguliers et arrête d’attendre une fois que timeout secondes se sont écoulées. Avec mode='reschedule', l’emplacement de travail est libéré entre deux scrutations.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Instructions
- Importez la bibliothèque appropriée pour utiliser un FileSensor.
- Faites pointer la référence
precheckvers l’objet FileSensor. - Configurez le FileSensor pour rechercher le fichier "salesdata_ready.csv".
- Réglez le délai d’expiration sur 5 minutes.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)