Capire le opzioni dei parametri
Hai utilizzato diversi metodi per aggiungere template ai tuoi workflow. Considerando le differenze tra le opzioni, perché dovresti creare task individuali (ad es. BashOperator) con parametri specifici invece di una lista di file?
Per esempio, perché sceglieresti
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
anziché usare una forma con loop come
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Questo esercizio fa parte del corso
Introduzione ad Apache Airflow in Python
Esercizio pratico interattivo
Passa dalla teoria alla pratica con uno dei nostri esercizi interattivi
Inizia esercizio