Volgorde van pipeline-uitvoering definiëren
Na het bouwen van je DAG is het tijd om de uitvoeringsvolgorde van de taken in de DAG te definiëren.
In de vorige oefening heb je de eerste taak ingericht om de API te controleren. Alle andere taken van de pipeline zijn al voor je opgezet.
Je moet de volgorde van de taken volgen zoals in het onderstaande diagram.
Deze oefening maakt deel uit van de cursus
Forecasting-pijplijnen ontwerpen voor productie
Oefeninstructies
- Stel de taken in voor de API-check-pipeline en het controleren van de status.
- Stel de taken in voor de data-validatiepipeline.
- Stel de taken in voor de forecast-pipeline.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Set the API check pipeline tasks
____ >> ____ >> [data_refresh, no_updates]
data_refresh >> [data_validation, data_failure]
# Set the data validation pipeline tasks
data_validation >> check_validation >> [____, ____]
# Set the forecast pipeline tasks
data_valid >> ____ >> ____
print(f"DAG '{dag.dag_id}' ready with {len(dag.tasks)} tasks")