Varios BashOperators

Los DAGs de Airflow pueden incluir muchos operadores, cada uno ejecutando sus tareas definidas.

Has implementado correctamente uno de tus scripts como una tarea de Airflow y has decidido seguir migrando tus scripts individuales a un DAG completo de Airflow. Ahora quieres añadir más componentes al flujo de trabajo. Además del cleanup.sh usado en el ejercicio anterior, tienes dos scripts más, consolidate_data.sh y push_data.sh. Estos procesan aún más tus datos y los copian a su ubicación final.

El DAG analytics_dag ya está definido (es decir, no necesitas añadir la sentencia with DAG(...)), y tu tarea cleanup sigue definida. El BashOperator ya está importado.

Este ejercicio forma parte del curso

Introducción a Apache Airflow en Python

Ver curso

Instrucciones del ejercicio

Define un BashOperator llamado consolidate, para ejecutar consolidate_data.sh con un task_id de consolidate_task.
Añade un BashOperator final llamado push_data, que ejecute push_data.sh y tenga un task_id de pushdata_task.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Editar y ejecutar código