Dekorera en uppgift
Du ska implementera en specifik Airflow-uppgift i Python. Uppgiften ska ladda ned och spara en fil i systemet via Airflow, med hjälp av funktionen pull_file. Den funktionen är redan definierad åt dig.
Biblioteket requests är importerat, liksom Airflow dag-objektet.
Den här övningen är en del av kursen
Introduktion till Apache Airflow i Python
Övningsinstruktioner
- Importera det nödvändiga objektet från Airflow-biblioteket.
- Konfigurera funktionen
pull_filesom en Airflow-uppgift. - Anropa uppgiftsobjektet.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import the task decorator
from ____ import ____
@dag(dag_id='file_update')
def file_update():
# Decorate the function as a task
____
def pull_file(URL, savepath):
r = requests.get(URL)
with open(savepath, 'wb') as f:
f.write(r.content)
print(f"File pulled from {URL} and saved to {savepath}")
# Call the task
____('http://dataserver/sales.json', 'latestsales.json')
file_update()