CommencerCommencer gratuitement

Créer un BashOperator avec gabarit

Vous avez créé avec succès un BashOperator qui nettoie un fichier de données donné en exécutant un script appelé cleandata.sh. Cela fonctionne, mais oblige malheureusement à exécuter le script uniquement pour la journée en cours. Certaines de vos sources de données ont parfois un retard de quelques jours et doivent être exécutées manuellement.

Vous modifiez le script cleandata.sh pour qu’il prenne un argument : la date au format YYYYMMDD. Vos tests fonctionnent en ligne de commande, mais vous devez maintenant l’intégrer dans votre DAG Airflow. Pour l’instant, utilisez le terme {{ ds_nodash }} dans votre gabarit : vous verrez exactement ce que cela signifie un peu plus tard.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice