Création d'un pipeline de production #2

Dans le prolongement de votre dernier flux de travail, vous souhaitez ajouter quelques fonctionnalités supplémentaires, notamment en ajoutant des SLAau code et en modifiant les composants du capteur.

Reportez-vous au code source du site DAG pour déterminer si des éléments supplémentaires doivent être ajoutés. Le dictionnaire default_args a été défini pour vous, bien qu'il puisse nécessiter d'autres modifications.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Ajoutez un sla de 90 minutes au DAG en utilisant la fonction timedelta().
Mettez à jour l'objet FileSensor pour qu'il recherche des fichiers toutes les 45 secondes à l'aide du paramètre poke_interval.
Modifiez le site python_task pour envoyer des variables Airflow à l'objet à appeler. Notez que l'appelant est configuré pour accepter les variables à l'aide de l'argument provide_context.

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice