Bắt đầu ngayBắt đầu miễn phí

DAG trong Airflow

Trong Airflow, một pipeline được biểu diễn dưới dạng Đồ thị có hướng không chu trình (Directed Acyclic Graph) hay DAG. Các nút của đồ thị đại diện cho những tác vụ sẽ được thực thi. Các kết nối có hướng giữa các nút thể hiện quan hệ phụ thuộc giữa các tác vụ.

Biểu diễn một data pipeline dưới dạng DAG rất hợp lý, vì một số tác vụ cần hoàn thành trước khi các tác vụ khác có thể bắt đầu. Bạn có thể so sánh điều này với dây chuyền lắp ráp trong nhà máy ô tô. Các tác vụ được xếp nối tiếp, và mỗi tác vụ có thể phụ thuộc vào việc hoàn thành các tác vụ trước đó. Một DAG giả định có thể trông như sau:

Example DAG

Đầu tiên là lắp khung, sau đó là thân xe và lốp, và cuối cùng là sơn. Hãy tái hiện ví dụ trên bằng mã.

Bài tập này là một phần của khóa học

Introduction to Data Engineering

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Chỉnh sửa và Chạy Mã