Verstehen der Parameteroptionen
Du hast verschiedene Methoden verwendet, um Vorlagen zu deinen Arbeitsabläufen hinzuzufügen. Wenn du die Unterschiede zwischen den Optionen berücksichtigst, warum willst du dann einzelne Tasks (d.h. BashOperators) mit bestimmten Parametern erstellen und nicht eine Liste von Dateien?
Warum würdest du dich zum Beispiel für
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
über die Verwendung einer Schleifenform wie
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow in Python
Interaktive Übung
Setze die Theorie in einer unserer interaktiven Übungen in die Praxis um
