Thêm kiểm tra chất lượng ở mức cột
Một pipeline cứ đều đặn nạp dữ liệu lỗi còn tệ hơn pipeline hỏng và báo lỗi to. Trước khi các nhóm downstream sử dụng daily_summary, bạn sẽ thêm một cổng kiểm tra chất lượng ở mức cột chạy ngay sau bước nạp và sẽ từ chối lần chạy nếu doanh thu xuống dưới 0 hoặc số lượng đơn hàng bị thiếu.
Tác vụ nạp và tệp SQL đã được điền sẵn từ các bài học trước.
Bài tập này là một phần của khóa học
Xây dựng Data Pipeline với Airflow
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập