Mais PythonOperators

Para continuar implementando seu workflow, você precisa adicionar outra etapa para analisar e salvar as alterações do arquivo baixado. O DAG process_sales_dag está definido e já tem a tarefa pull_file adicionada. Neste caso, a função Python já está definida para você: parse_file(inputfile, outputfile).

Observe que, ao implementar tarefas no Airflow, muitas vezes você não vai entender necessariamente as etapas individuais que recebeu. Enquanto você souber como encapsular essas etapas na estrutura do Airflow, será capaz de implementar o workflow desejado.

Este exercício faz parte do curso

Introdução ao Apache Airflow em Python

Ver curso

Instruções do exercício

Defina a tarefa Python na variável parse_file_task com o id parse_file.
Adicione parse_file(inputfile, outputfile) ao Operator.
Defina os argumentos a serem passados para o callable.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Add another Python task
____ = ____(
    task_id=____,
    # Set the function to call
    ____
    # Add the arguments
    ____={'inputfile':'latestsales.json', 'outputfile':'parsedfile.json'},
)

Editar e executar o código