1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Giới thiệu về Apache Airflow với Python
Connected

Bài tập

Nhiều BashOperator

Các DAG trong Airflow có thể chứa nhiều operator, mỗi cái đảm nhận một tác vụ đã được định nghĩa.

Bạn đã triển khai thành công một trong các script của mình thành một tác vụ Airflow và quyết định tiếp tục chuyển các script lẻ sang một DAG Airflow hoàn chỉnh. Giờ bạn muốn bổ sung thêm thành phần cho workflow. Bên cạnh cleanup.sh đã dùng ở bài trước, bạn còn có hai script nữa là consolidate_data.sh và push_data.sh. Chúng tiếp tục xử lý dữ liệu và sao chép dữ liệu đến vị trí cuối cùng.

DAG analytics_dag đã được định nghĩa (nghĩa là bạn không cần thêm câu lệnh with DAG(...)), và tác vụ cleanup của bạn vẫn còn. BashOperator cũng đã được import sẵn.

Hướng dẫn

100 XP
  • Định nghĩa một BashOperator tên consolidate, để chạy consolidate_data.sh với task_id là consolidate_task.
  • Thêm một BashOperator cuối cùng tên push_data, chạy push_data.sh với task_id là pushdata_task.