Mendefinisikan BashOperator dengan @task.bash
Tugas Bash memungkinkan Anda menentukan perintah atau skrip shell apa pun dan menambahkannya ke alur kerja Airflow. Ini bisa menjadi langkah awal yang baik untuk menerapkan Airflow di lingkungan Anda.
Selama ini, Anda menjalankan beberapa skrip secara manual untuk membersihkan data (menggunakan skrip bernama cleanup.sh) sebelum diserahkan kepada rekan-rekan di tim Data Analytics. Seiring semakin banyaknya tugas serupa, Anda menyadari bahwa menjalankan semuanya secara manual menjadi sulit, belum lagi menangani galat atau percobaan ulang. Anda ingin menerapkan skrip sederhana sebagai operator Airflow.
Objek dag dan task Airflow sudah diimpor.
Latihan ini merupakan bagian dari kursus
Pengantar Apache Airflow dengan Python
Instruksi latihan
- Gunakan dekorator
@task.bashuntuk mendefinisikan task. - Gunakan nama metode
cleanup_task. - Buat task mengembalikan
cleanup.sh.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
@dag(
dag_id='analytics_dag',
start_date=datetime(2026,1,1)
)
def analytics_dag():
# Specify a Bash task
@____
def ____():
return '____'
# Run the task
cleanup_task()
analytics_dag()