Bắt đầu ngayBắt đầu miễn phí

DAG trong Airflow

Trong Airflow, một pipeline được biểu diễn dưới dạng Đồ thị Có Hướng Không Chu trình (Directed Acyclic Graph) hay DAG. Các nút trong đồ thị là những tác vụ sẽ được thực thi. Các kết nối có hướng giữa các nút thể hiện quan hệ phụ thuộc giữa các tác vụ.

Biểu diễn pipeline dữ liệu dưới dạng DAG là hợp lý vì một số tác vụ phải hoàn thành trước khi tác vụ khác có thể bắt đầu. Bạn có thể hình dung như dây chuyền lắp ráp ô tô: các công đoạn nối tiếp nhau, và mỗi công đoạn có thể phụ thuộc vào việc các công đoạn trước đã xong. Một DAG giả định có thể trông như sau:

Example DAG

Lắp khung diễn ra trước, sau đó là thân xe và lốp, và cuối cùng là sơn. Hãy tái hiện ví dụ trên bằng mã.

Bài tập này là một phần của khóa học

Introduction to Data Engineering

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Chỉnh sửa và Chạy Mã