Mais PythonOperators
Para continuar implementando o fluxo de trabalho, você precisa adicionar outra etapa para analisar e salvar as alterações do arquivo baixado. O DAG process_sales_dag está definido e tem a tarefa pull_file já adicionada. Nesse caso, a função Python já está definida para você, parse_file(inputfile, outputfile).
Observe que, muitas vezes, ao implementar as tarefas do Airflow, você não necessariamente entenderá as etapas individuais que lhe são apresentadas. Desde que você entenda como envolver as etapas na estrutura do Airflow, poderá implementar o fluxo de trabalho desejado.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Instruções do exercício
- Defina a tarefa Python para a variável
parse_file_taskcom o IDparse_file. - Adicione o endereço
parse_file(inputfile, outputfile)ao Operador. - Defina os argumentos a serem passados para o chamável.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Add another Python task
____ = ____(
task_id=____,
# Set the function to call
____
# Add the arguments
____={'inputfile':'latestsales.json', 'outputfile':'parsedfile.json'},
)