Définir l'ordre des BashOperators

Maintenant que vous connaissez les opérateurs de décalage de bits, il est temps de modifier votre flux de travail pour y inclure une étape d'extraction et l'ordre des tâches. Vous avez trois composants actuellement définis, cleanup, consolidate, et push_data.

Le site DAG analytics_dag est disponible comme auparavant et le site BashOperator est déjà importé.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Définissez un site BashOperator appelé pull_sales avec une commande bash de wget https://salestracking/latestinfo?json.
Configurez l'opérateur pull_sales pour qu'il s'exécute avant la tâche cleanup.
Configurez consolidate pour qu'il fonctionne ensuite, en utilisant l'opérateur en aval.
Réglez push_data pour qu'il soit exécuté en dernier en utilisant l'un ou l'autre des opérateurs de décalage de bits.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Define a new pull_sales task
pull_sales = ____(
    task_id='pullsales_task',
    ____
)

# Set pull_sales to run prior to cleanup
pull_sales ____ cleanup

# Configure consolidate to run after cleanup
____

# Set push_data to run last
consolidate ____

Modifier et exécuter le code