Biến pipeline thành idempotent
Pipeline của một đồng nghiệp luôn nối thêm dữ liệu bán hàng mỗi lần chạy, nên khi chạy lại và backfill sẽ tạo dữ liệu trùng lặp. Cả hai bảng staging và sales đều có cột date (định dạng YYYY-MM-DD).
Nhóm của bạn cần làm cho pipeline trở nên idempotent: lọc truy vấn staging theo logical date, và thêm một preoperator để xóa các hàng hiện có khỏi bảng sales.
Bài tập này là một phần của khóa học
Xây dựng Data Pipeline với Airflow
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập