Quan sát asset phân vùng kích hoạt một Dag ở hạ nguồn
Hai Dag sales_pipeline_v3 (thượng nguồn) và sales_report (hạ nguồn) từ bài trước đã được triển khai và sẵn sàng chạy. Pipeline bán hàng chạy mỗi phút và phát ra một sự kiện daily_sales theo phân vùng ở mỗi lần chạy, trong khi báo cáo chỉ quan tâm đến ngày; đó chính là việc của StartOfDayMapper. Đến lúc xem chúng phối hợp với nhau.
Thực hiện tuần tự các bước sau:
- Trong chế độ xem Dags, kích hoạt
sales_reporttrước để nó sẵn sàng phản ứng khi sự kiện asset đến. - Sau đó kích hoạt
sales_pipeline_v3; Dag này chạy mỗi phút và phát ra một sự kiệndaily_salesđã phân vùng ở mỗi lần chạy. - Chờ khoảng một phút để
sales_pipeline_v3hoàn tất — khi đósales_reportsẽ tự động kích hoạt từ sự kiện asset. - Mở
sales_report, vào thẻ Runs, mở lần chạy mới nhất và tìm Mapped Partition key ở đầu phần chi tiết lần chạy.
Định dạng ngày của Mapped Partition key là gì?
Bài tập này là một phần của khóa học
Xây dựng Data Pipeline với Airflow
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập