Plusieurs BashOperators

Airflow DAGs peut contenir de nombreux opérateurs, chacun effectuant des tâches bien définies.

Vous avez réussi à implémenter un de vos scripts en tant que tâche Airflow et vous avez décidé de continuer à migrer vos scripts individuels vers un Airflow complet DAG. Vous souhaitez maintenant ajouter d'autres composants au flux de travail. En plus du script cleanup.sh utilisé dans l'exercice précédent, vous disposez de deux autres scripts, consolidate_data.sh et push_data.sh. Ces derniers traitent ensuite vos données et les copient vers leur emplacement final.

La tâche DAG analytics_dag est définie (ce qui signifie que vous n'avez pas besoin d'ajouter la déclaration with DAG(...) ) et votre tâche cleanup est toujours définie. Le site BashOperator est déjà importé.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Définissez un BashOperator appelé consolidate, pour exécuter consolidate_data.sh avec un task_id de consolidate_task.
Ajoutez un site final BashOperator appelé push_data, un site en cours d'exécution push_data.sh et un site task_id appelé pushdata_task.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Modifier et exécuter le code