Créer un BashOperator avec gabarit
Vous avez créé avec succès un BashOperator qui nettoie un fichier de données donné en exécutant un script appelé cleandata.sh. Cela fonctionne, mais oblige malheureusement à exécuter le script uniquement pour la journée en cours. Certaines de vos sources de données ont parfois un retard de quelques jours et doivent être exécutées manuellement.
Vous modifiez le script cleandata.sh pour qu’il prenne un argument : la date au format YYYYMMDD. Vos tests fonctionnent en ligne de commande, mais vous devez maintenant l’intégrer dans votre DAG Airflow. Pour l’instant, utilisez le terme {{ ds_nodash }} dans votre gabarit : vous verrez exactement ce que cela signifie un peu plus tard.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Exercice interactif pratique
Passez de la théorie à la pratique avec l’un de nos exercices interactifs
Commencer l’exercice