Più BashOperator

I DAG di Airflow possono contenere molti operatori, ognuno con i propri task.

Hai già trasformato uno dei tuoi script in un task di Airflow e hai deciso di continuare a migrare i singoli script in un DAG completo. Ora vuoi aggiungere altri componenti al workflow. Oltre a cleanup.sh usato nell’esercizio precedente, hai altri due script: consolidate_data.sh e push_data.sh. Questi elaborano ulteriormente i dati e li copiano nella loro posizione finale.

Il DAG analytics_dag è già definito (quindi non devi aggiungere l’istruzione with DAG(...)) e il task cleanup è ancora definito. Il BashOperator è già importato.

Questo esercizio fa parte del corso

Introduzione ad Apache Airflow in Python

Visualizza il corso

Istruzioni dell'esercizio

Definisci un BashOperator chiamato consolidate, che esegua consolidate_data.sh con task_id uguale a consolidate_task.
Aggiungi un BashOperator finale chiamato push_data, che esegua push_data.sh con task_id uguale a pushdata_task.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Modifica ed esegui il codice