Création d'une filière de production #1

Vous avez beaucoup appris sur le fonctionnement d'Airflow - il est maintenant temps de mettre en œuvre votre flux de travail dans un pipeline de production composé de nombreux objets, y compris des capteurs et des opérateurs. Votre patron souhaite que ce flux de travail soit automatisé et qu'il puisse fournir des rapports à l'adresse SLA, car il constitue un levier supplémentaire pour conclure une affaire sur laquelle le personnel de vente travaille. Le prospect a indiqué qu'une fois les mises à jour automatisées, il serait prêt à s'abonner au service de données indiqué.

D'après ce que vous avez appris sur le processus, vous savez que des données sur les ventes seront téléchargées dans le système. Une fois les données téléchargées, un nouveau fichier devrait être créé pour lancer le traitement complet, mais quelque chose ne fonctionne pas correctement.

Reportez-vous au code source du site DAG pour déterminer si des éléments supplémentaires doivent être ajoutés.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Mettez à jour le site DAG dans pipeline.py pour importer les opérateurs nécessaires.
Exécutez la tâche sense_file à partir de la ligne de commande et recherchez les erreurs éventuelles. Utilisez la commande airflow tasks test <dag_id> <task_id> <date> et les arguments appropriés pour exécuter la commande. Pour le dernier argument, utilisez -1 au lieu d'une date spécifique.
Déterminez pourquoi la tâche sense_file ne se termine pas et remédiez-y à l'aide de l'éditeur. Veillez à parcourir la sortie du terminal pour trouver les messages surlignés en rouge. ERROR messages surlignés en rouge.
Testez à nouveau la tâche sense_file et vérifiez que le problème est résolu.

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice