CommencerCommencez gratuitement

DAG Airflow

Dans Airflow, un pipeline est représenté par un graphe orienté acyclique, ou DAG. Les nœuds du graphe représentent les tâches exécutées. Les arêtes orientées entre les nœuds représentent les dépendances entre les tâches.

Modéliser un pipeline de données sous forme de DAG a beaucoup de sens, car certaines tâches doivent se terminer avant que d'autres ne commencent. Vous pouvez comparer cela à une chaîne de montage dans une usine automobile. Les tâches s'enchaînent, et chacune peut dépendre de l'achèvement des précédentes. Un DAG fictif pourrait ressembler à ceci :

Example DAG

On assemble d'abord le châssis, puis la carrosserie et les pneus, et enfin on peint. Reproduisons l'exemple ci-dessus en code.

Cet exercice fait partie du cours

<cours>Introduction au data engineering</cours>
Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Modifier et exécuter le code