Quand utiliser poke, reschedule ou deferrable
Votre équipe passe en revue la configuration des capteurs dans trois pipelines :
- Pipeline A : Un capteur vérifie l'existence d'un fichier qui arrive généralement dans les 10 secondes suivant le démarrage du Dag.
- Pipeline B : Un capteur attend un flux de données d'un partenaire qui arrive à un moment donné dans une fenêtre de 4 heures. Vingt capteurs semblables s'exécutent en parallèle.
- Pipeline C : Un capteur interroge un point de terminaison d'API toutes les 2 minutes et attend généralement 15 minutes.
Quelle combinaison de modes de capteur convient le mieux?
Cette activité fait partie du cours
Créer des pipelines de données avec Airflow
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice