CommencerCommencer gratuitement

Débit d'air DAGs

Dans Airflow, un pipeline est représenté sous la forme d'un graphe acyclique dirigé (Directed Acyclic Graph ou DAG). Les nœuds du graphique représentent les tâches qui sont exécutées. Les connexions dirigées entre les nœuds représentent les dépendances entre les tâches.

La représentation d'un pipeline de données sous la forme d'un site DAG est très logique, car certaines tâches doivent être terminées avant que d'autres ne puissent commencer. On pourrait comparer cela à une chaîne de montage dans une usine automobile. Les tâches s'accumulent et chaque tâche peut dépendre de l'achèvement des tâches précédentes. Un site fictif DAG pourrait ressembler à ceci :

Exemple DAG

L'assemblage du cadre se fait en premier, puis la carrosserie et les pneus, et enfin la peinture. Reproduisons l'exemple ci-dessus en code.

Cet exercice fait partie du cours

Introduction à l'ingénierie des données

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Modifier et exécuter le code