Usando o PythonOperator
Você implementou várias tarefas do Airflow usando o BashOperator, mas percebeu que algumas tarefas específicas seriam melhor implementadas usando Python. Você implementará uma tarefa para fazer download e salvar um arquivo no sistema dentro do Airflow.
A biblioteca requests
é importada para você, e a DAG process_sales_dag
já está definida.
Este exercício faz parte do curso
Introdução ao Apache Airflow em Python
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Define the method
def ____(____, ____):
r = requests.get(URL)
with open(savepath, 'wb') as f:
f.write(r.content)
# Use the print method for logging
print(f"File pulled from {____} and saved to {____}")