Créer le DAG

Après avoir défini les arguments par défaut, il est temps de définir votre DAG et de créer la première tâche qui interroge l’API. Cette étape est essentielle pour automatiser vos workflows de données et de Machine Learning. Les modules suivants ont été importés : DAG, PythonOperator et datetime. Vous disposez également d’une fonction personnalisée check_updates_api. À vous de construire votre DAG !

Cet exercice fait partie du cours

<cours>Concevoir des pipelines de prévision pour la production</cours>

Voir le cours

Instructions de l’exercice

Définissez le DAG avec la fonction appropriée.
Planifiez l’exécution quotidienne.
Créez la tâche check_api à l’aide d’un opérateur Python.
Fournissez la fonction check_updates_api comme callable.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Define the DAG
with ____(
    'data_pipeline',
    default_args=default_args,
    description='Data pipeline for ETL process',
  	# Set the schedule to run daily
    schedule='@____',
    tags = ["python", "etl", "forecast"]
) as dag:
  # Create check_api
  check_api = ____(
    task_id='check_api',
    # Use the check_updates_api function
    python_callable=____)

print(f"DAG object created: {dag}")
print(f"PythonOperator for API check created: {check_api}")

Modifier et exécuter le code