Verwendung des PythonOperators
Du hast mehrere Airflow-Aufgaben mit dem BashOperator implementiert, aber dir ist klar, dass einige spezielle Aufgaben besser mit Python umgesetzt werden sollten. Du implementierst eine Aufgabe zum Herunterladen und Speichern einer Datei auf dem System innerhalb von Airflow.
Die Bibliothek requests wird für dich importiert, und die DAG process_sales_dag ist bereits definiert.
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow in Python
Interaktive Übung zum Anfassen
Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.
# Define the method
def ____(____, ____):
r = requests.get(URL)
with open(savepath, 'wb') as f:
f.write(r.content)
# Use the print method for logging
print(f"File pulled from {____} and saved to {____}")