Criando um BashOperator com modelo
Você criou com êxito um BashOperator que limpa um determinado arquivo de dados executando um script chamado cleandata.sh. Isso funciona, mas infelizmente exige que o script seja executado somente para o dia atual. Algumas de suas fontes de dados estão ocasionalmente atrasadas em alguns dias e precisam ser executadas manualmente.
Você modificou com sucesso o script cleandata.sh para receber um argumento: a data no formato YYYYMMDD. Seus testes funcionam na linha de comando, mas agora você precisa implementar isso no Airflow DAG. Por enquanto, use o termo {{ ds_nodash }} em seu modelo - você verá exatamente o que isso significa mais tarde.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Crie um
templated_commandpara executar o scriptcleandata.shcom a data de execução atual fornecida pelo Airflow. - Modifique o BashOperator para usar o comando modelado.
- Não há necessidade do parâmetro
paramspara a tarefaclean_task.
Exercício interativo prático
Transforme a teoria em ação com um de nossos exercícios interativos
Começar o exercício