Airflow DAGs
In Airflow wird eine Pipeline als gerichteter azyklischer Graph oder DAG dargestellt. Die Knoten des Graphen stellen Aufgaben dar, die ausgeführt werden. Die gerichteten Verbindungen zwischen den Knoten stellen Abhängigkeiten zwischen den Aufgaben dar.
Eine Datenpipeline als DAG darzustellen ist sehr sinnvoll, da einige Aufgaben abgeschlossen sein müssen, bevor andere beginnen können. Du könntest das mit einem Fließband in einer Autofabrik vergleichen. Die Aufgaben bauen sich auf, und jede Aufgabe kann davon abhängen, dass die vorherigen Aufgaben abgeschlossen sind. Eine fiktive DAG könnte etwa so aussehen:
Zuerst wird der Rahmen zusammengebaut, dann die Karosserie und die Reifen und zum Schluss lackierst du. Lass uns das obige Beispiel im Code wiedergeben.
Diese Übung ist Teil des Kurses
Einführung in die Datentechnik
Interaktive Übung zum Anfassen
Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")