1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Giới thiệu về Apache Airflow bằng Python
Connected

Bài tập

Định nghĩa BashOperator với @task.bash

Một tác vụ Bash cho phép bạn chỉ định bất kỳ lệnh hoặc script shell nào và thêm nó vào quy trình làm việc của Airflow. Đây có thể là điểm khởi đầu tuyệt vời để đưa Airflow vào môi trường của bạn.

Bạn đã chạy thủ công một số script để làm sạch dữ liệu (dùng script cleanup.sh) trước khi gửi cho đồng nghiệp trong nhóm Phân tích dữ liệu. Khi được giao ngày càng nhiều tác vụ, bạn nhận ra việc tự chạy mọi thứ trở nên khó theo kịp, chưa kể xử lý lỗi hay thử lại. Bạn muốn triển khai một script đơn giản dưới dạng một operator của Airflow.

Các đối tượng dag và task của Airflow đã được import sẵn.

Hướng dẫn

100 XP
  • Dùng decorator @task.bash để định nghĩa tác vụ.
  • Dùng tên phương thức cleanup_task.
  • Để tác vụ trả về cleanup.sh.