Créer un pipeline de production #1
Vous avez beaucoup appris sur le fonctionnement d’Airflow — il est maintenant temps de transformer votre workflow en un pipeline de production composé de nombreux objets, notamment des capteurs (sensors) et des opérateurs. Votre responsable souhaite voir ce workflow automatisé et capable de fournir un reporting SLA, car cela donnerait un atout supplémentaire pour conclure une affaire sur laquelle l’équipe commerciale travaille. Le prospect a indiqué que s’il voit des mises à jour automatisées, il est prêt à s’abonner au service de données proposé.
D’après ce que vous avez appris, vous savez que des données de ventes seront téléversées dans le système. Une fois les données envoyées, un nouveau fichier doit être créé pour déclencher l’ensemble du traitement, mais quelque chose ne fonctionne pas correctement.
Consultez le code source du DAG pour déterminer s’il faut ajouter quelque chose.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Exercice interactif pratique
Passez de la théorie à la pratique avec l’un de nos exercices interactifs
Commencer l’exercice