Beberapa BashOperator

Airflow DAG dapat memuat banyak operator, masing-masing menjalankan tugas yang telah ditetapkan.

Anda telah berhasil menerapkan salah satu skrip Anda sebagai tugas Airflow dan memutuskan untuk melanjutkan migrasi skrip individual Anda ke sebuah DAG Airflow lengkap. Sekarang Anda ingin menambahkan lebih banyak komponen ke alur kerja. Selain cleanup.sh yang digunakan pada latihan sebelumnya, Anda memiliki dua skrip lagi, consolidate_data.sh dan push_data.sh. Keduanya memproses data Anda lebih lanjut dan menyalinnya ke lokasi akhirnya.

DAG analytics_dag sudah didefinisikan (artinya Anda tidak perlu menambahkan pernyataan with DAG(...)), dan tugas cleanup Anda masih didefinisikan. BashOperator sudah diimpor.

Latihan ini adalah bagian dari kursus

Pengantar Apache Airflow dengan Python

Lihat Kursus

Petunjuk latihan

Definisikan sebuah BashOperator bernama consolidate, untuk menjalankan consolidate_data.sh dengan task_id consolidate_task.
Tambahkan BashOperator terakhir bernama push_data, yang menjalankan push_data.sh dengan task_id pushdata_task.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Define a second operator to run the `consolidate_data.sh` script
consolidate = ____(
    task_id='consolidate_task',
    bash_command=____
    )

# Define a final operator to execute the `push_data.sh` script
push_data = ____(
    ____=____,
    ____=____
    )

Edit dan Jalankan Kode