Bắt đầu ngayBắt đầu miễn phí

Biến pipeline thành idempotent

Pipeline của một đồng nghiệp luôn nối thêm dữ liệu bán hàng mỗi lần chạy, nên khi chạy lại và backfill sẽ tạo dữ liệu trùng lặp. Cả hai bảng stagingsales đều có cột date (định dạng YYYY-MM-DD).

Nhóm của bạn cần làm cho pipeline trở nên idempotent: lọc truy vấn staging theo logical date, và thêm một preoperator để xóa các hàng hiện có khỏi bảng sales.

Bài tập này là một phần của khóa học

Xây dựng Data Pipeline với Airflow

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập