Mehrere BashOperatoren

Airflow DAGs kann viele Operatoren enthalten, die jeweils ihre festgelegten Aufgaben erfüllen.

Du hast eines deiner Skripte erfolgreich als Airflow-Aufgabe implementiert und hast beschlossen, deine einzelnen Skripte zu einem vollständigen Airflow DAG zu migrieren. Du möchtest nun weitere Komponenten zum Workflow hinzufügen. Zusätzlich zu dem in der vorherigen Übung verwendeten cleanup.sh hast du zwei weitere Skripte, consolidate_data.sh und push_data.sh. Diese verarbeiten deine Daten weiter und kopieren sie an ihren endgültigen Speicherort.

Die DAG analytics_dag ist definiert (d.h. du brauchst die with DAG(...) Anweisung nicht hinzuzufügen, und deine cleanup Aufgabe ist immer noch definiert. Die BashOperator ist bereits importiert.

Diese Übung ist Teil des Kurses

Einführung in Apache Airflow in Python

Kurs anzeigen

Anleitung zur Übung

Definiere ein BashOperator namens consolidate, um consolidate_data.sh mit einem task_id von consolidate_task auszuführen.
Füge eine letzte BashOperator mit dem Namen push_data hinzu, auf der push_data.sh und eine task_id von pushdata_task laufen.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Bearbeiten und Ausführen von Code