Tạo một pipeline có phân vùng
Một sự kiện asset thông thường chỉ cho biết với các bên tiêu thụ ở hạ lưu rằng "có điều gì đó đã thay đổi", nhưng không nói rõ phần dữ liệu nào. Trong thực tế, các nhóm báo cáo và phân tích thường chỉ cần xử lý lại đúng phân vùng thực sự thay đổi, như một ngày cụ thể, thay vì chạy lại toàn bộ. Asset partitions mang theo khóa phân vùng đó xuống hạ lưu để bên tiêu thụ có thể phản ứng chính xác với đúng phần dữ liệu. Trong bài tập này, bạn sẽ lên lịch pipeline bán hàng của mình theo lịch phân vùng hằng ngày và phát ra một sự kiện daily_sales có phân vùng ở mỗi lần chạy.
Bài tập này là một phần của khóa học
Xây dựng Data Pipeline với Airflow
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập