Vì sao dùng tập giữ lại (holdout)

Điều quan trọng là hiểu khi nào bạn sẽ dùng ba tập dữ liệu (huấn luyện, xác thực và kiểm tra) thay vì hai (huấn luyện và kiểm tra). Việc tạo thêm một lần chia dữ liệu là vô ích nếu bạn không sử dụng nó.

Khi nào bạn nên cân nhắc sử dụng các tập dữ liệu huấn luyện, xác thực và kiểm tra?

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

SkillTag.level.intermediateSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Trước khi có thể xác thực mô hình, bạn cần hiểu cách tạo và làm việc với chúng. Chương này giới thiệu cách chạy các mô hình hồi quy và phân loại trong scikit-learn. Nền tảng xây dựng mô hình này sẽ được sử dụng xuyên suốt các chương còn lại.

Exercise 1: Giới thiệu về kiểm định mô hình Exercise 2: Các bước mô hình hóa Exercise 3: Dữ liệu đã thấy vs. chưa thấy Exercise 4: Mô hình hồi quy Exercise 5: Đặt tham số và huấn luyện mô hình Exercise 6: Mức độ quan trọng của đặc trưng Exercise 7: Mô hình phân loại Exercise 8: Dự đoán phân loại Exercise 9: Tái sử dụng tham số mô hình Exercise 10: Bộ phân loại random forest

Chương này tập trung vào những kiến thức cơ bản của xác thực mô hình. Từ việc chia dữ liệu thành các tập huấn luyện, xác thực và kiểm thử, đến việc hiểu bài toán đánh đổi giữa độ chệch và phương sai (bias-variance tradeoff), chúng ta xây dựng nền tảng cho các kỹ thuật K-Fold và Leave-One-Out sẽ thực hành ở chương ba.

Exercise 1: Tạo các tập dữ liệu train, test và validation Exercise 2: Tạo một tập holdout Exercise 3: Tạo hai tập holdout Exercise 4: Vì sao dùng tập giữ lại (holdout)

Bài tập hiện tại

Exercise 5: Chỉ số độ chính xác: mô hình hồi quy Exercise 6: Sai số tuyệt đối trung bình Exercise 7: Sai số bình phương trung bình Exercise 8: Hiệu suất trên các tập con dữ liệu Exercise 9: Các chỉ số đánh giá phân loại Exercise 10: Ma trận nhầm lẫn Exercise 11: Ma trận nhầm lẫn, lần nữa Exercise 12: Precision và recall Exercise 13: Sự đánh đổi giữa bias và variance Exercise 14: Lỗi do underfitting/overfitting Exercise 15: Mình có đang underfitting không?

Các tập holdout là một khởi đầu tốt cho xác thực mô hình. Tuy nhiên, chỉ dùng một tập huấn luyện và kiểm thử thường là chưa đủ. Cross-validation được xem là tiêu chuẩn vàng khi đánh giá hiệu năng mô hình và hầu như luôn được dùng khi điều chỉnh siêu tham số của mô hình. Chương này tập trung vào việc thực hiện cross-validation để xác thực hiệu năng mô hình.

Exercise 1: Những vấn đề với tập holdout Exercise 2: Hai mẫu Exercise 3: Các vấn đề tiềm ẩn Exercise 4: Cross-validation Exercise 5: `KFold()` của scikit-learn Exercise 6: Sử dụng chỉ số KFold Exercise 7: cross_val_score() của sklearn Exercise 8: Các phương thức của scikit-learn Exercise 9: Triển khai cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Khi nào nên dùng LOOCV Exercise 12: Leave-one-out-cross-validation

Ba chương đầu tập trung vào các kỹ thuật xác thực mô hình. Ở chương 4, chúng ta áp dụng các kỹ thuật này—đặc biệt là cross-validation—đồng thời tìm hiểu về điều chỉnh siêu tham số. Suy cho cùng, xác thực mô hình giúp việc điều chỉnh trở nên khả thi và hỗ trợ bạn chọn ra mô hình tổng thể tốt nhất.

Exercise 1: Giới thiệu về tinh chỉnh siêu tham số Exercise 2: Tạo Hyperparameter Exercise 3: Chạy một mô hình với các khoảng giá trị Exercise 4: RandomizedSearchCV Exercise 5: Chuẩn bị cho RandomizedSearch Exercise 6: Triển khai RandomizedSearchCV Exercise 7: Chọn mô hình cuối cùng của bạn Exercise 8: Độ chính xác phân loại tốt nhất Exercise 9: Chọn mô hình có precision tốt nhất Exercise 10: Hoàn thành khóa học!