CommencezCommencez gratuitement

DAG Airflow

Dans Airflow, un pipeline est représenté par un graphe orienté acyclique, ou DAG. Les nœuds du graphe représentent les tâches exécutées. Les liens orientés entre les nœuds représentent les dépendances entre les tâches.

Représenter un pipeline de données sous forme de DAG est très logique, car certaines tâches doivent se terminer avant que d'autres puissent commencer. On peut comparer cela à une chaîne de montage dans une usine automobile. Les tâches s'enchaînent, et chaque tâche peut dépendre de l'achèvement des tâches précédentes. Un DAG fictif pourrait ressembler à ceci :

Example DAG

On assemble d'abord le châssis, puis la carrosserie et les pneus, et enfin on peint. Reproduisons l'exemple ci-dessus en code.

Cette activité fait partie du cours

Introduction à l'ingénierie des données

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Modifier et exécuter le code