Comprendre les options de paramétrage
Vous avez utilisé plusieurs méthodes pour ajouter des templates à vos workflows. En tenant compte des différences entre ces options, pourquoi voudriez-vous créer des tâches individuelles (c.-à-d. des BashOperators) avec des paramètres spécifiques plutôt qu’une liste de fichiers ?
Par exemple, pourquoi choisiriez-vous
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
autrement que d’utiliser une forme avec boucle comme
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Exercice interactif pratique
Passez de la théorie à la pratique avec l’un de nos exercices interactifs
Commencer l’exercice