Mehrere BashOperators

Airflow-DAGs können viele Operatoren enthalten, die jeweils ihre definierten Aufgaben ausführen.

Du hast eines deiner Skripte erfolgreich als Airflow-Task implementiert und möchtest nun deine einzelnen Skripte vollständig in einen Airflow-DAG migrieren. Du willst weitere Komponenten zum Workflow hinzufügen. Zusätzlich zum cleanup.sh aus der vorherigen Übung hast du zwei weitere Skripte: consolidate_data.sh und push_data.sh. Diese verarbeiten deine Daten weiter und kopieren sie an ihren endgültigen Speicherort.

Der DAG analytics_dag ist bereits definiert (du musst also keine with DAG(...)-Anweisung hinzufügen), und dein cleanup-Task ist weiterhin vorhanden. Der BashOperator wurde bereits importiert.

Diese Übung ist Teil des Kurses

Einführung in Apache Airflow mit Python

Kurs anzeigen

Anleitung zur Übung

Definiere einen BashOperator namens consolidate, der consolidate_data.sh ausführt, mit einer task_id von consolidate_task.
Füge einen abschließenden BashOperator namens push_data hinzu, der push_data.sh ausführt und eine task_id von pushdata_task hat.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Code bearbeiten und ausführen