Mendefinisikan tugas BashOperator

BashOperator memungkinkan Anda menentukan perintah atau skrip Shell apa pun dan menambahkannya ke alur kerja Airflow. Ini bisa menjadi langkah awal yang baik untuk menerapkan Airflow di lingkungan Anda.

Selama ini, Anda menjalankan beberapa skrip secara manual untuk membersihkan data (menggunakan skrip bernama cleanup.sh) sebelum diserahkan kepada rekan di tim Data Analytics. Seiring bertambahnya tugas serupa, Anda menyadari semakin sulit menjalankan semuanya secara manual, apalagi menangani error atau percobaan ulang. Anda ingin menerapkan skrip sederhana sebagai operator Airflow.

DAG Airflow analytics_dag sudah didefinisikan untuk Anda dan memiliki konfigurasi yang sesuai.

Latihan ini adalah bagian dari kursus

Pengantar Apache Airflow dengan Python

Lihat Kursus

Petunjuk latihan

Impor objek BashOperator.
Definisikan BashOperator bernama cleanup dengan task_id cleanup_task.
Gunakan perintah cleanup.sh.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Import the BashOperator
from airflow.operators.bash import ____

with DAG(dag_id="test_dag", default_args={"start_date": "2024-01-01"}) as analytics_dag:
  # Define the BashOperator 
  cleanup = ____(
      task_id=____,
      # Define the bash_command
      bash_command=____,
  )

Edit dan Jalankan Kode