Criando um BashOperator com modelo
Você criou com êxito um BashOperator que limpa um determinado arquivo de dados executando um script chamado cleandata.sh
. Isso funciona, mas infelizmente exige que o script seja executado somente para o dia atual. Algumas de suas fontes de dados estão ocasionalmente atrasadas em alguns dias e precisam ser executadas manualmente.
Você modificou com sucesso o script cleandata.sh
para receber um argumento: a data no formato YYYYMMDD. Seus testes funcionam na linha de comando, mas agora você precisa implementar isso no Airflow DAG. Por enquanto, use o termo {{ ds_nodash }}
em seu modelo - você verá exatamente o que isso significa mais tarde.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções de exercício
- Crie um
templated_command
para executar o scriptcleandata.sh
com a data de execução atual fornecida pelo Airflow. - Modifique o BashOperator para usar o comando modelado.
- Não há necessidade do parâmetro
params
para a tarefaclean_task
.
Exercício interativo prático
Transforme a teoria em ação com um de nossos exercícios interativos
