Airflow-DAGs
In Airflow wird eine Pipeline als gerichteter azyklischer Graph oder DAG dargestellt. Die Knoten im Diagramm stellen Aufgaben dar, die erledigt werden. Die gerichteten Verbindungen zwischen den Knoten zeigen, wie die Aufgaben voneinander abhängen.
Eine Datenpipeline als DAG darzustellen, ist durchaus sinnvoll, weil manche Aufgaben erst erledigt sein müssen, bevor andere starten können. Man könnte das mit einem Fließband in einer Autofabrik vergleichen. Die Aufgaben stapeln sich, und jede Aufgabe kann davon abhängen, dass vorherige Aufgaben erledigt wurden. Ein fiktives DAG könnte so aussehen:
Zuerst wird das Fahrgestell aufgebaut, dann folgen die Karosserie, dann die Reifen und schließlich der Lack. Lass uns das obige Beispiel im Code reproduzieren.
Diese Übung ist Teil des Kurses
<Kurs>Einführung in das Data Engineering</Kurs>Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")