Dự đoán phân loại

Trong xác thực mô hình, thường rất quan trọng để biết nhiều hơn về dự đoán ngoài nhãn phân loại cuối cùng. Khi dự đoán đội nào sẽ thắng trận, hầu hết mọi người cũng quan tâm khả năng đội đó sẽ thắng là bao nhiêu.

Xác suất	Dự đoán	Ý nghĩa
0 < .50	0	Đội thua
.50 +	1	Đội thắng

Trong bài tập này, bạn sẽ xem các phương thức .predict() và .predict_proba() với bộ dữ liệu tic_tac_toe. Phương thức đầu sẽ đưa ra dự đoán liệu Người chơi Một có thắng trò chơi hay không, và phương thức thứ hai sẽ cho biết xác suất Người chơi Một thắng. Sử dụng rfc làm mô hình phân loại random forest.

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

Xem khóa học

Hướng dẫn bài tập

Tạo hai mảng dự đoán: một cho giá trị phân loại và một cho xác suất dự đoán.
Dùng phương thức .value_counts() cho một pandas Series để in số lượng quan sát được gán vào mỗi lớp.
In quan sát đầu tiên của probability_predictions để xem cấu trúc của các xác suất.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Fit the rfc model. 
rfc.fit(X_train, y_train)

# Create arrays of predictions
classification_predictions = rfc.____(X_test)
probability_predictions = rfc.____(X_test)

# Print out count of binary predictions
print(pd.Series(____).____())

# Print the first value from probability_predictions
print('The first predicted probabilities are: {}'.format(____[____]))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xác thực Mô hình trong Python

SkillTag.level.intermediateSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Trước khi có thể xác thực mô hình, bạn cần hiểu cách tạo và làm việc với chúng. Chương này giới thiệu cách chạy các mô hình hồi quy và phân loại trong scikit-learn. Nền tảng xây dựng mô hình này sẽ được sử dụng xuyên suốt các chương còn lại.

Exercise 1: Giới thiệu về kiểm định mô hình Exercise 2: Các bước mô hình hóa Exercise 3: Dữ liệu đã thấy vs. chưa thấy Exercise 4: Mô hình hồi quy Exercise 5: Đặt tham số và huấn luyện mô hình Exercise 6: Mức độ quan trọng của đặc trưng Exercise 7: Mô hình phân loại Exercise 8: Dự đoán phân loại

Bài tập hiện tại

Exercise 9: Tái sử dụng tham số mô hình Exercise 10: Bộ phân loại random forest

Chương này tập trung vào những kiến thức cơ bản của xác thực mô hình. Từ việc chia dữ liệu thành các tập huấn luyện, xác thực và kiểm thử, đến việc hiểu bài toán đánh đổi giữa độ chệch và phương sai (bias-variance tradeoff), chúng ta xây dựng nền tảng cho các kỹ thuật K-Fold và Leave-One-Out sẽ thực hành ở chương ba.

Exercise 1: Tạo các tập dữ liệu train, test và validation Exercise 2: Tạo một tập holdout Exercise 3: Tạo hai tập holdout Exercise 4: Vì sao dùng tập giữ lại (holdout)Exercise 5: Chỉ số độ chính xác: mô hình hồi quy Exercise 6: Sai số tuyệt đối trung bình Exercise 7: Sai số bình phương trung bình Exercise 8: Hiệu suất trên các tập con dữ liệu Exercise 9: Các chỉ số đánh giá phân loại Exercise 10: Ma trận nhầm lẫn Exercise 11: Ma trận nhầm lẫn, lần nữa Exercise 12: Precision và recall Exercise 13: Sự đánh đổi giữa bias và variance Exercise 14: Lỗi do underfitting/overfitting Exercise 15: Mình có đang underfitting không?

Các tập holdout là một khởi đầu tốt cho xác thực mô hình. Tuy nhiên, chỉ dùng một tập huấn luyện và kiểm thử thường là chưa đủ. Cross-validation được xem là tiêu chuẩn vàng khi đánh giá hiệu năng mô hình và hầu như luôn được dùng khi điều chỉnh siêu tham số của mô hình. Chương này tập trung vào việc thực hiện cross-validation để xác thực hiệu năng mô hình.

Exercise 1: Những vấn đề với tập holdout Exercise 2: Hai mẫu Exercise 3: Các vấn đề tiềm ẩn Exercise 4: Cross-validation Exercise 5: `KFold()` của scikit-learn Exercise 6: Sử dụng chỉ số KFold Exercise 7: cross_val_score() của sklearn Exercise 8: Các phương thức của scikit-learn Exercise 9: Triển khai cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Khi nào nên dùng LOOCV Exercise 12: Leave-one-out-cross-validation

Ba chương đầu tập trung vào các kỹ thuật xác thực mô hình. Ở chương 4, chúng ta áp dụng các kỹ thuật này—đặc biệt là cross-validation—đồng thời tìm hiểu về điều chỉnh siêu tham số. Suy cho cùng, xác thực mô hình giúp việc điều chỉnh trở nên khả thi và hỗ trợ bạn chọn ra mô hình tổng thể tốt nhất.

Exercise 1: Giới thiệu về tinh chỉnh siêu tham số Exercise 2: Tạo Hyperparameter Exercise 3: Chạy một mô hình với các khoảng giá trị Exercise 4: RandomizedSearchCV Exercise 5: Chuẩn bị cho RandomizedSearch Exercise 6: Triển khai RandomizedSearchCV Exercise 7: Chọn mô hình cuối cùng của bạn Exercise 8: Độ chính xác phân loại tốt nhất Exercise 9: Chọn mô hình có precision tốt nhất Exercise 10: Hoàn thành khóa học!