Plus de PythonOperators

Pour poursuivre l’implémentation de votre workflow, vous devez ajouter une étape pour analyser et enregistrer les modifications du fichier téléchargé. Le DAG process_sales_dag est défini et contient déjà la tâche pull_file. Dans ce cas, la fonction Python est déjà fournie : parse_file(inputfile, outputfile).

Notez que, lors de l’implémentation de tâches Airflow, il est fréquent de ne pas maîtriser tous les détails des étapes qui vous sont données. Tant que vous savez encapsuler ces étapes dans la structure d’Airflow, vous pourrez mettre en place le workflow souhaité.

Cet exercice fait partie du cours

Introduction à Apache Airflow en Python

Afficher le cours

Instructions

Définissez la tâche Python dans la variable parse_file_task avec l’identifiant parse_file.
Ajoutez parse_file(inputfile, outputfile) à l’Operator.
Définissez les arguments à passer au callable.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Add another Python task
____ = ____(
    task_id=____,
    # Set the function to call
    ____
    # Add the arguments
    ____={'inputfile':'latestsales.json', 'outputfile':'parsedfile.json'},
)

Modifier et exécuter le code