Airflow-DAGs
In Airflow wird eine Pipeline als gerichteter azyklischer Graph oder DAG dargestellt. Die Knoten im Diagramm stellen Aufgaben dar, die erledigt werden. Die gerichteten Verbindungen zwischen den Knoten zeigen, wie die Aufgaben voneinander abhängen.
Eine Datenpipeline als DAG darzustellen, ist durchaus sinnvoll, weil manche Aufgaben erst erledigt sein müssen, bevor andere starten können. Man könnte das mit einem Fließband in einer Autofabrik vergleichen. Die Aufgaben stapeln sich, und jede Aufgabe kann davon abhängen, dass vorherige Aufgaben erledigt wurden. Ein fiktives DAG könnte so aussehen:
Zuerst wird das Fahrgestell aufgebaut, dann folgen die Karosserie, dann die Reifen und schließlich der Lack. Lass uns das obige Beispiel im Code reproduzieren.
Diese Übung ist Teil des Kurses
Einführung in das Data Engineering
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")