De PythonOperator gebruiken
Je hebt meerdere Airflow-taken geïmplementeerd met de BashOperator, maar je merkt dat een paar specifieke taken beter in Python kunnen. Je gaat een taak bouwen die binnen Airflow een bestand downloadt en opslaat op het systeem.
De requests-bibliotheek is al voor je geïmporteerd en de DAG process_sales_dag is al gedefinieerd.
Deze oefening maakt deel uit van de cursus
Introductie tot Apache Airflow in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Define the method
def ____(____, ____):
r = requests.get(URL)
with open(savepath, 'wb') as f:
f.write(r.content)
# Use the print method for logging
print(f"File pulled from {____} and saved to {____}")