Lỗi do underfitting/overfitting

Bộ dữ liệu kẹo rất dễ bị overfitting. Chỉ có 85 quan sát, nếu bạn dùng 20% cho tập kiểm tra, bạn sẽ mất khá nhiều dữ liệu quan trọng có thể dùng để xây dựng mô hình. Hãy tưởng tượng tình huống hầu hết kẹo sô-cô-la rơi vào tập huấn luyện và chỉ rất ít nằm trong mẫu giữ lại. Mô hình của bạn có thể chỉ thấy rằng sô-cô-la là yếu tố then chốt, nhưng lại bỏ lỡ rằng các thuộc tính khác cũng quan trọng. Trong bài tập này, bạn sẽ khám phá cách việc dùng quá nhiều đặc trưng (cột) trong mô hình random forest có thể dẫn đến overfitting.

Một feature (đặc trưng) cho biết những cột nào của dữ liệu được dùng trong cây quyết định. Tham số max_features giới hạn số lượng đặc trưng có thể sử dụng.

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Update the rfr model
rfr = RandomForestRegressor(____=25,
                            ____=1111,
                            ____=2)
rfr.fit(X_train, y_train)

# Print the training and testing accuracies 
print('The training error is {0:.2f}'.format(
  mae(y_train, rfr.predict(X_train))))
print('The testing error is {0:.2f}'.format(
  mae(y_test, rfr.predict(X_test))))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

SkillTag.level.intermediateSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Trước khi có thể xác thực mô hình, bạn cần hiểu cách tạo và làm việc với chúng. Chương này giới thiệu cách chạy các mô hình hồi quy và phân loại trong scikit-learn. Nền tảng xây dựng mô hình này sẽ được sử dụng xuyên suốt các chương còn lại.

Exercise 1: Giới thiệu về kiểm định mô hình Exercise 2: Các bước mô hình hóa Exercise 3: Dữ liệu đã thấy vs. chưa thấy Exercise 4: Mô hình hồi quy Exercise 5: Đặt tham số và huấn luyện mô hình Exercise 6: Mức độ quan trọng của đặc trưng Exercise 7: Mô hình phân loại Exercise 8: Dự đoán phân loại Exercise 9: Tái sử dụng tham số mô hình Exercise 10: Bộ phân loại random forest

Chương này tập trung vào những kiến thức cơ bản của xác thực mô hình. Từ việc chia dữ liệu thành các tập huấn luyện, xác thực và kiểm thử, đến việc hiểu bài toán đánh đổi giữa độ chệch và phương sai (bias-variance tradeoff), chúng ta xây dựng nền tảng cho các kỹ thuật K-Fold và Leave-One-Out sẽ thực hành ở chương ba.

Exercise 1: Tạo các tập dữ liệu train, test và validation Exercise 2: Tạo một tập holdout Exercise 3: Tạo hai tập holdout Exercise 4: Vì sao dùng tập giữ lại (holdout)Exercise 5: Chỉ số độ chính xác: mô hình hồi quy Exercise 6: Sai số tuyệt đối trung bình Exercise 7: Sai số bình phương trung bình Exercise 8: Hiệu suất trên các tập con dữ liệu Exercise 9: Các chỉ số đánh giá phân loại Exercise 10: Ma trận nhầm lẫn Exercise 11: Ma trận nhầm lẫn, lần nữa Exercise 12: Precision và recall Exercise 13: Sự đánh đổi giữa bias và variance Exercise 14: Lỗi do underfitting/overfitting

Bài tập hiện tại

Exercise 15: Mình có đang underfitting không?

Các tập holdout là một khởi đầu tốt cho xác thực mô hình. Tuy nhiên, chỉ dùng một tập huấn luyện và kiểm thử thường là chưa đủ. Cross-validation được xem là tiêu chuẩn vàng khi đánh giá hiệu năng mô hình và hầu như luôn được dùng khi điều chỉnh siêu tham số của mô hình. Chương này tập trung vào việc thực hiện cross-validation để xác thực hiệu năng mô hình.

Exercise 1: Những vấn đề với tập holdout Exercise 2: Hai mẫu Exercise 3: Các vấn đề tiềm ẩn Exercise 4: Cross-validation Exercise 5: `KFold()` của scikit-learn Exercise 6: Sử dụng chỉ số KFold Exercise 7: cross_val_score() của sklearn Exercise 8: Các phương thức của scikit-learn Exercise 9: Triển khai cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Khi nào nên dùng LOOCV Exercise 12: Leave-one-out-cross-validation

Ba chương đầu tập trung vào các kỹ thuật xác thực mô hình. Ở chương 4, chúng ta áp dụng các kỹ thuật này—đặc biệt là cross-validation—đồng thời tìm hiểu về điều chỉnh siêu tham số. Suy cho cùng, xác thực mô hình giúp việc điều chỉnh trở nên khả thi và hỗ trợ bạn chọn ra mô hình tổng thể tốt nhất.

Exercise 1: Giới thiệu về tinh chỉnh siêu tham số Exercise 2: Tạo Hyperparameter Exercise 3: Chạy một mô hình với các khoảng giá trị Exercise 4: RandomizedSearchCV Exercise 5: Chuẩn bị cho RandomizedSearch Exercise 6: Triển khai RandomizedSearchCV Exercise 7: Chọn mô hình cuối cùng của bạn Exercise 8: Độ chính xác phân loại tốt nhất Exercise 9: Chọn mô hình có precision tốt nhất Exercise 10: Hoàn thành khóa học!