ComeçarComece gratuitamente

Criando um BashOperator com modelo

Você criou com êxito um BashOperator que limpa um determinado arquivo de dados executando um script chamado cleandata.sh. Isso funciona, mas infelizmente exige que o script seja executado somente para o dia atual. Algumas de suas fontes de dados estão ocasionalmente atrasadas em alguns dias e precisam ser executadas manualmente.

Você modificou com sucesso o script cleandata.sh para receber um argumento: a data no formato YYYYMMDD. Seus testes funcionam na linha de comando, mas agora você precisa implementar isso no Airflow DAG. Por enquanto, use o termo {{ ds_nodash }} em seu modelo - você verá exatamente o que isso significa mais tarde.

Este exercício faz parte do curso

Introdução ao Apache Airflow em Python

Ver Curso

Instruções de exercício

  • Crie um templated_command para executar o script cleandata.sh com a data de execução atual fornecida pelo Airflow.
  • Modifique o BashOperator para usar o comando modelado.
  • Não há necessidade do parâmetro params para a tarefa clean_task.

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Comece o exercício