Triển khai RandomizedSearchCV

Bạn hy vọng việc dùng thuật toán tìm kiếm ngẫu nhiên sẽ giúp cải thiện dự đoán cho một bài tập trên lớp. Giáo sư của bạn đã thách thức cả lớp dự đoán điểm trung bình cuối cùng của bài kiểm tra tổng kết.

Để chuẩn bị cho việc chạy random search, bạn đã tạo:

param_dist: các phân phối siêu tham số (hyperparameter)
rfr: một mô hình random forest regression
scorer: một phương thức chấm điểm sẽ dùng

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

Xem khóa học

Hướng dẫn bài tập

Tải phương thức để thực hiện random search trong sklearn.
Hoàn thành random search bằng cách điền các tham số: estimator, param_distributions, và scoring.
Sử dụng 5-fold cross-validation cho random search này.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import the method for random search
from sklearn.model_selection import ____

# Build a random search using param_dist, rfr, and scorer
random_search =\
    ____(
        estimator=___,
        param_distributions=____,
        n_iter=10,
        cv=____,
        scoring=____)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

SkillTag.level.intermediateSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Trước khi có thể xác thực mô hình, bạn cần hiểu cách tạo và làm việc với chúng. Chương này giới thiệu cách chạy các mô hình hồi quy và phân loại trong scikit-learn. Nền tảng xây dựng mô hình này sẽ được sử dụng xuyên suốt các chương còn lại.

Exercise 1: Giới thiệu về kiểm định mô hình Exercise 2: Các bước mô hình hóa Exercise 3: Dữ liệu đã thấy vs. chưa thấy Exercise 4: Mô hình hồi quy Exercise 5: Đặt tham số và huấn luyện mô hình Exercise 6: Mức độ quan trọng của đặc trưng Exercise 7: Mô hình phân loại Exercise 8: Dự đoán phân loại Exercise 9: Tái sử dụng tham số mô hình Exercise 10: Bộ phân loại random forest

Chương này tập trung vào những kiến thức cơ bản của xác thực mô hình. Từ việc chia dữ liệu thành các tập huấn luyện, xác thực và kiểm thử, đến việc hiểu bài toán đánh đổi giữa độ chệch và phương sai (bias-variance tradeoff), chúng ta xây dựng nền tảng cho các kỹ thuật K-Fold và Leave-One-Out sẽ thực hành ở chương ba.

Exercise 1: Tạo các tập dữ liệu train, test và validation Exercise 2: Tạo một tập holdout Exercise 3: Tạo hai tập holdout Exercise 4: Vì sao dùng tập giữ lại (holdout)Exercise 5: Chỉ số độ chính xác: mô hình hồi quy Exercise 6: Sai số tuyệt đối trung bình Exercise 7: Sai số bình phương trung bình Exercise 8: Hiệu suất trên các tập con dữ liệu Exercise 9: Các chỉ số đánh giá phân loại Exercise 10: Ma trận nhầm lẫn Exercise 11: Ma trận nhầm lẫn, lần nữa Exercise 12: Precision và recall Exercise 13: Sự đánh đổi giữa bias và variance Exercise 14: Lỗi do underfitting/overfitting Exercise 15: Mình có đang underfitting không?

Các tập holdout là một khởi đầu tốt cho xác thực mô hình. Tuy nhiên, chỉ dùng một tập huấn luyện và kiểm thử thường là chưa đủ. Cross-validation được xem là tiêu chuẩn vàng khi đánh giá hiệu năng mô hình và hầu như luôn được dùng khi điều chỉnh siêu tham số của mô hình. Chương này tập trung vào việc thực hiện cross-validation để xác thực hiệu năng mô hình.

Exercise 1: Những vấn đề với tập holdout Exercise 2: Hai mẫu Exercise 3: Các vấn đề tiềm ẩn Exercise 4: Cross-validation Exercise 5: `KFold()` của scikit-learn Exercise 6: Sử dụng chỉ số KFold Exercise 7: cross_val_score() của sklearn Exercise 8: Các phương thức của scikit-learn Exercise 9: Triển khai cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Khi nào nên dùng LOOCV Exercise 12: Leave-one-out-cross-validation

Ba chương đầu tập trung vào các kỹ thuật xác thực mô hình. Ở chương 4, chúng ta áp dụng các kỹ thuật này—đặc biệt là cross-validation—đồng thời tìm hiểu về điều chỉnh siêu tham số. Suy cho cùng, xác thực mô hình giúp việc điều chỉnh trở nên khả thi và hỗ trợ bạn chọn ra mô hình tổng thể tốt nhất.

Exercise 1: Giới thiệu về tinh chỉnh siêu tham số Exercise 2: Tạo Hyperparameter Exercise 3: Chạy một mô hình với các khoảng giá trị Exercise 4: RandomizedSearchCV Exercise 5: Chuẩn bị cho RandomizedSearch Exercise 6: Triển khai RandomizedSearchCV

Bài tập hiện tại

Exercise 7: Chọn mô hình cuối cùng của bạn Exercise 8: Độ chính xác phân loại tốt nhất Exercise 9: Chọn mô hình có precision tốt nhất Exercise 10: Hoàn thành khóa học!