Definir a ordem dos BashOperators
Agora que você aprendeu sobre os operadores de bitshift, é hora de modificar seu fluxo de trabalho para incluir uma etapa de extração e a ordenação de tarefas. Você tem três componentes definidos atualmente, cleanup
, consolidate
e push_data
.
O DAG analytics_dag
está disponível como antes e o BashOperator
já está importado.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Defina um
BashOperator
chamadopull_sales
com um comando bash dewget https://salestracking/latestinfo?json
. - Defina o operador
pull_sales
para ser executado antes da tarefacleanup
. - Configure o site
consolidate
para ser executado em seguida, usando o operador downstream. - Defina
push_data
para ser executado por último usando um operador de bitshift.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Define a new pull_sales task
pull_sales = ____(
task_id='pullsales_task',
____
)
# Set pull_sales to run prior to cleanup
pull_sales ____ cleanup
# Configure consolidate to run after cleanup
____
# Set push_data to run last
consolidate ____