Définir un BashOperator avec @task.bash
Une tâche Bash vous permet de spécifier n’importe quelle commande ou script de shell et de l’ajouter à un workflow Airflow. C’est une excellente façon de commencer à mettre en place Airflow dans votre environnement.
Ainsi, vous exécutez manuellement certains scripts pour nettoyer des données (en utilisant un script appelé cleanup.sh) avant de les transmettre à vos collègues de l’équipe Data Analytics. À mesure que l’on vous confie davantage de ces tâches, vous réalisez qu’il devient difficile de tout lancer manuellement, sans parler de la gestion des erreurs ou des nouvelles tentatives. Vous souhaitez implémenter un simple script en tant qu’opérateur Airflow.
Les objets dag et task d’Airflow ont déjà été importés.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Instructions
- Utilisez le décorateur
@task.bashpour définir la tâche. - Utilisez le nom de méthode
cleanup_task. - Faites en sorte que la tâche renvoie
cleanup.sh.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
@dag(
dag_id='analytics_dag',
start_date=datetime(2026,1,1)
)
def analytics_dag():
# Specify a Bash task
@____
def ____():
return '____'
# Run the task
cleanup_task()
analytics_dag()