Plusieurs BashOperator

Les DAGs Airflow peuvent contenir de nombreux opérateurs, chacun exécutant ses tâches définies.

Vous avez réussi à implémenter l’un de vos scripts comme une tâche Airflow et avez décidé de continuer à migrer vos scripts individuels vers un DAG Airflow complet. Vous souhaitez maintenant ajouter d’autres composants au workflow. En plus du cleanup.sh utilisé dans l’exercice précédent, vous disposez de deux autres scripts : consolidate_data.sh et push_data.sh. Ils poursuivent le traitement de vos données et les copient vers leur emplacement final.

Le DAG analytics_dag est défini (vous n’avez donc pas besoin d’ajouter l’instruction with DAG(...)), et votre tâche cleanup est toujours définie. Le BashOperator est déjà importé.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Définissez un BashOperator appelé consolidate, pour exécuter consolidate_data.sh avec un task_id de consolidate_task.
Ajoutez un dernier BashOperator appelé push_data, qui exécute push_data.sh et un task_id de pushdata_task.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Modifier et exécuter le code