CommencezCommencez gratuitement

DAG Airflow

Dans Airflow, un pipeline est représenté par un graphe orienté acyclique, ou DAG. Les nœuds du graphe représentent les tâches à exécuter. Les liens orientés entre les nœuds représentent les dépendances entre ces tâches.

Modéliser un pipeline de données comme un DAG est très logique, car certaines tâches doivent se terminer avant que d'autres puissent démarrer. On peut comparer cela à une chaîne de montage dans une usine automobile. Les tâches s'enchaînent, et chacune peut dépendre de l'achèvement des tâches précédentes. Un DAG fictif pourrait ressembler à ceci :

Example DAG

On assemble d'abord le châssis, ensuite la carrosserie et les pneus, puis on peint. Reproduisons l'exemple ci-dessus en code.

Cette activité fait partie du cours

Introduction à l'ingénierie des données

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Modifier et exécuter le code