CommencerCommencez gratuitement

Quand utiliser poke, reschedule ou deferrable

Votre équipe passe en revue la configuration des capteurs sur trois pipelines :

  • Pipeline A : un capteur vérifie l'existence d'un fichier qui arrive généralement dans les 10 secondes suivant le démarrage du Dag.
  • Pipeline B : un capteur attend un flux de données d'un partenaire qui arrive à un moment donné dans une fenêtre de 4 heures. Vingt capteurs similaires s'exécutent en parallèle.
  • Pipeline C : un capteur interroge un point de terminaison d'API toutes les 2 minutes et attend généralement 15 minutes.

Quelle combinaison de modes de capteur est la plus adaptée ?

Cet exercice fait partie du cours

<cours>Créer des pipelines de données avec Airflow</cours>
Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice