Utilisation de l'opérateur Python
Vous avez implémenté plusieurs tâches Airflow en utilisant l'opérateur BashOperator mais vous vous rendez compte que quelques tâches spécifiques seraient mieux implémentées en utilisant Python. Vous allez mettre en œuvre une tâche de téléchargement et d'enregistrement d'un fichier sur le système dans Airflow.
La bibliothèque requests est importée pour vous et la bibliothèque DAG process_sales_dag est déjà définie.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Define the method
def ____(____, ____):
r = requests.get(URL)
with open(savepath, 'wb') as f:
f.write(r.content)
# Use the print method for logging
print(f"File pulled from {____} and saved to {____}")