Thực hiện kiểm định dữ liệu
Giờ bạn đã định nghĩa xong schema, hãy tiến hành kiểm định dữ liệu. Trong bài tập này, bạn sẽ tạo các quy tắc kiểm định để đảm bảo chất lượng dữ liệu và kiểm tra các vấn đề thường gặp như trùng lặp và giá trị null.
table_schema từ bài tập trước đã được nạp sẵn cho bạn, cùng với DataFrame ts và thư viện pointblank.
Bài tập này là một phần của khóa học
Thiết kế Pipeline Dự báo cho Môi trường Production
Hướng dẫn bài tập
- Định nghĩa kiểm định bằng phương thức phù hợp và truyền vào DataFrame
ts. - Thiết lập các quy tắc kiểm định với
table_schemavà kiểm tra trùng lặp. - In báo cáo kiểm định.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Define the validation
validation = (pb.____(data=____,
tbl_name="US48 Data Validation",
label="Data Refresh",
thresholds=pb.Thresholds(warning=0.2, error=0, critical=0.1))
# Set up the validation rules
.col_schema_match(schema=____)
.col_vals_gt(columns="value", value=0)
.col_vals_in_set(columns="respondent", set = ["US48"])
.col_vals_in_set(columns="type", set = ["D"])
.col_vals_not_null(columns=["period", "value"])
.____()
.interrogate())
# Print the validation report
print(validation.____())