Rendre un capteur différable
Votre équipe exécute des dizaines de capteurs sur différents pipelines, et les slots des workers deviennent un goulot d'étranglement. Même en mode reschedule, chaque capteur occupe brièvement un slot à chaque réveil pour vérifier. Le mode différable va plus loin en confiant entièrement l'attente au Triggerer, un processus léger qui utilise des E/S asynchrones et n'occupe jamais de slot de worker.
Vous allez configurer ce FileSensor pour tirer parti de la mise en attente différée.
Cet exercice fait partie du cours
<cours>Créer des pipelines de données avec Airflow</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice