Création d'un BashOperator modèle

Vous avez créé avec succès un BashOperator qui nettoie un fichier de données donné en exécutant un script appelé cleandata.sh. Cela fonctionne, mais exige malheureusement que le script ne soit exécuté que pour le jour en cours. Certaines de vos sources de données sont parfois en retard de quelques jours et doivent être exécutées manuellement.

Vous avez réussi à modifier le script cleandata.sh pour qu'il prenne un argument - la date au format YYYYMMDD. Votre test fonctionne en ligne de commande, mais vous devez maintenant l'implémenter dans votre Airflow DAG. Pour l'instant, utilisez le terme {{ ds_nodash }} dans votre modèle - vous verrez exactement ce que cela signifie plus tard.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Créez un site templated_command pour exécuter le script cleandata.sh avec la date d'exécution actuelle donnée par Airflow.
Modifiez le BashOperator pour utiliser la commande modèle.
Le paramètre params n'est pas nécessaire pour la tâche clean_task.

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice