Vários BashOperators

DAGs do Airflow podem conter muitos operadores, cada um executando suas tarefas definidas.

Você implementou com sucesso um dos seus scripts como uma tarefa do Airflow e decidiu continuar migrando seus scripts individuais para um DAG completo do Airflow. Agora você quer adicionar mais componentes ao fluxo de trabalho. Além do cleanup.sh usado no exercício anterior, você tem mais dois scripts, consolidate_data.sh e push_data.sh. Eles fazem mais processamento nos seus dados e copiam para o local final.

O DAG analytics_dag está definido (ou seja, você não precisa adicionar a instrução with DAG(...)), e sua tarefa cleanup continua definida. O BashOperator já foi importado.

Este exercício faz parte do curso

Introdução ao Apache Airflow em Python

Ver curso

Instruções do exercício

Defina um BashOperator chamado consolidate, para executar consolidate_data.sh com task_id igual a consolidate_task.
Adicione um BashOperator final chamado push_data, executando push_data.sh e task_id igual a pushdata_task.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Editar e executar o código