Definir a ordem de BashOperators
Agora que você aprendeu sobre os operadores de bitshift, é hora de modificar seu workflow para incluir uma etapa de pull e definir a ordenação das tarefas. Você tem três componentes atualmente definidos: cleanup, consolidate e push_data.
O DAG analytics_dag está disponível como antes e o BashOperator já foi importado.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Defina um
BashOperatorchamadopull_salescom o comando bashwget https://salestracking/latestinfo?json. - Faça o operador
pull_salesrodar antes da tarefacleanup. - Configure
consolidatepara rodar em seguida, usando o operador downstream. - Defina
push_datapara rodar por último usando qualquer um dos operadores de bitshift.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Define a new pull_sales task
pull_sales = ____(
task_id='pullsales_task',
____
)
# Set pull_sales to run prior to cleanup
pull_sales ____ cleanup
# Configure consolidate to run after cleanup
____
# Set push_data to run last
consolidate ____