Définir l’ordre des BashOperator

Maintenant que vous avez découvert les opérateurs de décalage de bits, il est temps de modifier votre workflow pour inclure une étape de récupération et définir l’ordre des tâches. Vous avez actuellement trois composants définis : cleanup, consolidate et push_data.

Le DAG analytics_dag est disponible comme précédemment et le BashOperator est déjà importé.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Définissez un BashOperator appelé pull_sales avec la commande bash wget https://salestracking/latestinfo?json.
Paramétrez l’opérateur pull_sales pour qu’il s’exécute avant la tâche cleanup.
Configurez consolidate pour s’exécuter ensuite, en utilisant l’opérateur d’aval (downstream).
Faites en sorte que push_data s’exécute en dernier en utilisant l’un ou l’autre opérateur de décalage de bits.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Define a new pull_sales task
pull_sales = ____(
    task_id='pullsales_task',
    ____
)

# Set pull_sales to run prior to cleanup
pull_sales ____ cleanup

# Configure consolidate to run after cleanup
____

# Set push_data to run last
consolidate ____

Modifier et exécuter le code