1. Uczyć się
    2. /
  2. Courses
    3. /
  3. Introduction to Data Engineering
Connected

Exercise

DAG trong Airflow

Trong Airflow, một pipeline được biểu diễn dưới dạng Đồ thị có hướng không chu trình (Directed Acyclic Graph) hay DAG. Các nút của đồ thị đại diện cho những tác vụ sẽ được thực thi. Các kết nối có hướng giữa các nút thể hiện quan hệ phụ thuộc giữa các tác vụ.

Biểu diễn một data pipeline dưới dạng DAG rất hợp lý, vì một số tác vụ cần hoàn thành trước khi các tác vụ khác có thể bắt đầu. Bạn có thể so sánh điều này với dây chuyền lắp ráp trong nhà máy ô tô. Các tác vụ được xếp nối tiếp, và mỗi tác vụ có thể phụ thuộc vào việc hoàn thành các tác vụ trước đó. Một DAG giả định có thể trông như sau:

Example DAG

Đầu tiên là lắp khung, sau đó là thân xe và lốp, và cuối cùng là sơn. Hãy tái hiện ví dụ trên bằng mã.

Instrukcje 1 / 2

50 XP
    1
    2
  • Trước tiên, DAG cần chạy mỗi giờ vào phút 0. Điền đối số từ khóa schedule_interval theo cú pháp crontab. Ví dụ, mỗi giờ vào phút N sẽ là N * * * *. Hãy nhớ, bạn cần chạy vào phút 0.