Definir a ordem dos BashOperators
Agora que você aprendeu sobre os operadores de bitshift, é hora de modificar seu fluxo de trabalho para incluir uma etapa de extração e a ordenação de tarefas. Você tem três componentes definidos atualmente, cleanup, consolidate e push_data.
O DAG analytics_dag está disponível como antes e o BashOperator já está importado.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Defina um
BashOperatorchamadopull_salescom um comando bash dewget https://salestracking/latestinfo?json. - Defina o operador
pull_salespara ser executado antes da tarefacleanup. - Configure o site
consolidatepara ser executado em seguida, usando o operador downstream. - Defina
push_datapara ser executado por último usando um operador de bitshift.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Define a new pull_sales task
pull_sales = ____(
task_id='pullsales_task',
____
)
# Set pull_sales to run prior to cleanup
pull_sales ____ cleanup
# Configure consolidate to run after cleanup
____
# Set push_data to run last
consolidate ____