Verstehen der Parameteroptionen
Du hast verschiedene Methoden verwendet, um Vorlagen zu deinen Arbeitsabläufen hinzuzufügen. Wenn du die Unterschiede zwischen den Optionen berücksichtigst, warum willst du dann einzelne Tasks (d.h. BashOperators) mit bestimmten Parametern erstellen und nicht eine Liste von Dateien?
Warum würdest du dich zum Beispiel für
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
über die Verwendung einer Schleifenform wie
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow in Python
Interaktive Übung
In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.
