CommencerCommencer gratuitement

DAGs Airflow

Dans Airflow, un pipeline est représenté sous forme de graphe orienté acyclique, ou DAG. Les nœuds du graphe correspondent aux tâches à exécuter. Les connexions orientées entre les nœuds représentent les dépendances entre ces tâches.

Modéliser un pipeline de données comme un DAG est très pertinent, car certaines tâches doivent se terminer avant que d’autres ne puissent commencer. Vous pouvez comparer cela à une chaîne de montage dans une usine automobile. Les tâches s’enchaînent et chacune peut dépendre de l’achèvement des précédentes. Un DAG fictif pourrait ressembler à ceci :

Example DAG

On assemble d’abord le châssis, puis la carrosserie et les pneus, et enfin on peint. Reproduisons l’exemple ci-dessus en code.

Cet exercice fait partie du cours

Introduction au data engineering

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Modifier et exécuter le code