Meer PythonOperators

Om je workflow verder te bouwen, moet je een extra stap toevoegen om het gedownloade bestand te parsen en de wijzigingen op te slaan. De DAG process_sales_dag is gedefinieerd en de taak pull_file is al toegevoegd. In dit geval is de Python-functie al voor je gedefinieerd: parse_file(inputfile, outputfile).

Let op: bij het implementeren van Airflow-taken begrijp je niet altijd alle individuele stappen die je krijgt. Zolang je weet hoe je de stappen inpast in de structuur van Airflow, kun je de gewenste workflow implementeren.

Deze oefening maakt deel uit van de cursus

Introductie tot Apache Airflow in Python

Cursus bekijken

Oefeninstructies

Definieer de Python-taak in de variabele parse_file_task met het id parse_file.
Voeg parse_file(inputfile, outputfile) toe aan de Operator.
Definieer de argumenten die je aan de callable doorgeeft.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Add another Python task
____ = ____(
    task_id=____,
    # Set the function to call
    ____
    # Add the arguments
    ____={'inputfile':'latestsales.json', 'outputfile':'parsedfile.json'},
)

Code bewerken en uitvoeren