Définir une tâche BashOperator

Le BashOperator vous permet d’indiquer n’importe quelle commande ou script Shell et de l’ajouter à un workflow Airflow. C’est une excellente façon de commencer à implémenter Airflow dans votre environnement.

Jusqu’à présent, vous exécutiez manuellement des scripts pour nettoyer des données (à l’aide d’un script nommé cleanup.sh) avant de les remettre à vos collègues de l’équipe Data Analytics. À mesure que l’on vous confie davantage de ces tâches, vous constatez qu’il devient difficile de tout lancer manuellement, sans parler de la gestion des erreurs ou des nouvelles tentatives. Vous souhaitez donc implémenter un script simple en tant qu’opérateur Airflow.

Le DAG Airflow analytics_dag est déjà défini pour vous et dispose des configurations appropriées.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Importez l’objet BashOperator.
Définissez un BashOperator nommé cleanup avec le task_id cleanup_task.
Utilisez la commande cleanup.sh.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Import the BashOperator
from airflow.operators.bash import ____

with DAG(dag_id="test_dag", default_args={"start_date": "2024-01-01"}) as analytics_dag:
  # Define the BashOperator 
  cleanup = ____(
      task_id=____,
      # Define the bash_command
      bash_command=____,
  )

Modifier et exécuter le code