Quand utiliser poke, reschedule ou deferrable
Votre équipe passe en revue la configuration des capteurs sur trois pipelines :
- Pipeline A : un capteur vérifie l'existence d'un fichier qui arrive généralement dans les 10 secondes suivant le démarrage du Dag.
- Pipeline B : un capteur attend un flux de données d'un partenaire qui arrive à un moment donné dans une fenêtre de 4 heures. Vingt capteurs similaires s'exécutent en parallèle.
- Pipeline C : un capteur interroge un point de terminaison d'API toutes les 2 minutes et attend généralement 15 minutes.
Quelle combinaison de modes de capteur est la plus adaptée ?
Cet exercice fait partie du cours
<cours>Créer des pipelines de données avec Airflow</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice