Définir un BashOperator avec @task.bash
Une tâche Bash vous permet d'indiquer n'importe quelle commande ou tout script de l'interpréteur de commandes et de l'ajouter à un flux de travaux Airflow. C'est une excellente façon de commencer à implanter Airflow dans votre environnement.
Ainsi, vous exécutez manuellement certains scripts pour nettoyer des données (au moyen d'un script nommé cleanup.sh) avant de les remettre à vos collègues de l'équipe d'analytique des données. Comme on vous confie de plus en plus de ces tâches, vous constatez qu'il devient difficile de tout exécuter manuellement, sans parler de la gestion des erreurs ou des nouvelles tentatives. Vous souhaitez implanter un script simple comme opérateur Airflow.
Les objets dag et task d'Airflow ont déjà été importés.
Cette activité fait partie du cours
Introduction à Apache Airflow en Python
Instructions de l’exercice
- Utilisez le décorateur
@task.bashpour définir la tâche. - Utilisez le nom de méthode
cleanup_task. - Faites en sorte que la tâche retourne
cleanup.sh.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
@dag(
dag_id='analytics_dag',
start_date=datetime(2026,1,1)
)
def analytics_dag():
# Specify a Bash task
@____
def ____():
return '____'
# Run the task
cleanup_task()
analytics_dag()