Mendefinisikan BashOperator dengan @task.bash
Tugas Bash memungkinkan Anda menentukan perintah atau skrip shell apa pun dan menambahkannya ke alur kerja Airflow. Ini bisa menjadi langkah awal yang baik untuk menerapkan Airflow di lingkungan Anda.
Selama ini, Anda menjalankan beberapa skrip secara manual untuk membersihkan data (menggunakan skrip bernama cleanup.sh) sebelum diserahkan kepada rekan-rekan di tim Data Analytics. Seiring semakin banyaknya tugas serupa, Anda menyadari bahwa menjalankan semuanya secara manual menjadi sulit, belum lagi menangani galat atau percobaan ulang. Anda ingin menerapkan skrip sederhana sebagai operator Airflow.
Objek dag dan task Airflow sudah diimpor.
Latihan ini adalah bagian dari kursus
Pengantar Apache Airflow dengan Python
Petunjuk latihan
- Gunakan dekorator
@task.bashuntuk mendefinisikan task. - Gunakan nama metode
cleanup_task. - Buat task mengembalikan
cleanup.sh.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
@dag(
dag_id='analytics_dag',
start_date=datetime(2026,1,1)
)
def analytics_dag():
# Specify a Bash task
@____
def ____():
return '____'
# Run the task
cleanup_task()
analytics_dag()