Utiliser le PythonOperator
Vous avez implémenté plusieurs tâches Airflow avec le BashOperator, mais vous réalisez que certaines seraient mieux gérées en Python. Vous allez implémenter une tâche qui télécharge un fichier et l’enregistre sur le système depuis Airflow.
La bibliothèque requests est déjà importée pour vous, et le DAG process_sales_dag est déjà défini.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Define the method
def ____(____, ____):
r = requests.get(URL)
with open(savepath, 'wb') as f:
f.write(r.content)
# Use the print method for logging
print(f"File pulled from {____} and saved to {____}")