Parameteroptionen verstehen
Du hast verschiedene Methoden verwendet, um Templates in deine Workflows einzubinden. Angesichts der Unterschiede zwischen den Optionen: Warum würdest du einzelne Tasks (z. B. BashOperators) mit spezifischen Parametern erstellen statt eine Liste von Dateien zu übergeben?
Warum würdest du zum Beispiel Folgendes wählen:
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
statt eine Schleifenform wie
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Diese Übung ist Teil des Kurses
Einführung in Apache Airflow mit Python
Interaktive Übung
In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.
Übung starten