Plus d'opérateurs Python
Pour poursuivre la mise en œuvre de votre flux de travail, vous devez ajouter une autre étape pour analyser et enregistrer les modifications du fichier téléchargé. La tâche DAG process_sales_dag est définie et la tâche pull_file est déjà ajoutée. Dans ce cas, la fonction Python est déjà définie pour vous, parse_file(inputfile, outputfile).
Notez que souvent, lors de la mise en œuvre des tâches Airflow, vous ne comprendrez pas nécessairement les étapes individuelles qui vous sont proposées. Tant que vous comprenez comment intégrer les étapes dans la structure d'Airflow, vous serez en mesure de mettre en œuvre le flux de travail souhaité.
Cet exercice fait partie du cours
Introduction à Apache Airflow en Python
Instructions
- Définissez la tâche Python sur la variable
parse_file_taskavec l'identifiantparse_file. - Ajoutez le site
parse_file(inputfile, outputfile)à l'opérateur. - Définissez les arguments à transmettre à l'objet appelable.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Add another Python task
____ = ____(
task_id=____,
# Set the function to call
____
# Add the arguments
____={'inputfile':'latestsales.json', 'outputfile':'parsedfile.json'},
)