Vários BashOperators

O Airflow DAGs pode conter muitos operadores, cada um executando suas tarefas definidas.

Você implementou com sucesso um de seus scripts como uma tarefa do Airflow e decidiu continuar migrando seus scripts individuais para um Airflow completo DAG. Agora você deseja adicionar mais componentes ao fluxo de trabalho. Além do cleanup.sh usado no exercício anterior, você tem mais dois scripts, consolidate_data.sh e push_data.sh. Eles processam ainda mais seus dados e os copiam para o local final.

O DAG analytics_dag está definido (o que significa que você não precisa adicionar a instrução with DAG(...), e sua tarefa cleanup ainda está definida). O site BashOperator já foi importado.

Este exercício faz parte do curso

Introdução ao Apache Airflow em Python

Ver curso

Instruções do exercício

Defina um BashOperator chamado consolidate, para executar consolidate_data.sh com um task_id de consolidate_task.
Adicione um BashOperator final chamado push_data, executando push_data.sh e um task_id de pushdata_task.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Editar e executar o código