Parameteropties begrijpen
Je hebt een paar verschillende methoden gebruikt om templates aan je workflows toe te voegen. Gezien de verschillen tussen opties: waarom zou je aparte taken (bijv. BashOperators) met specifieke parameters willen maken in plaats van werken met een lijst met bestanden?
Waarom zou je bijvoorbeeld kiezen voor
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
boven een lusvorm zoals
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Deze oefening maakt deel uit van de cursus
Introductie tot Apache Airflow in Python
Praktische interactieve oefening
Zet theorie om in actie met een van onze interactieve oefeningen.
Begin met trainen