Comprendre les options des paramètres
Vous avez utilisé différentes méthodes pour ajouter des modèles à vos flux de travail. Compte tenu des différences entre les options, pourquoi voudriez-vous créer des tâches individuelles (c'est-à-dire des BashOperators) avec des paramètres spécifiques plutôt qu'une liste de fichiers ?
Par exemple, pourquoi choisir
t1 = BashOperator(task_id='task1', bash_command=templated_command, params={'filename': 'file1.txt'}, dag=dag)
t2 = BashOperator(task_id='task2', bash_command=templated_command, params={'filename': 'file2.txt'}, dag=dag)
t3 = BashOperator(task_id='task3', bash_command=templated_command, params={'filename': 'file3.txt'}, dag=dag)
en utilisant une forme de boucle telle que
t1 = BashOperator(task_id='task1',
bash_command=templated_command,
params={'filenames': ['file1.txt', 'file2.txt', 'file3.txt']},
dag=dag)
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Exercice interactif pratique
Passez de la théorie à la pratique avec l’un de nos exercices interactifs
