Chọn mô hình có precision tốt nhất
Sếp của bạn sẵn sàng tài trợ cho bạn đi xem ba trận thể thao trong năm nay. Trong số 41 trận sân nhà mà đội bạn yêu thích thi đấu, bạn muốn chắc chắn chọn ba trận sân nhà mà họ sẽ thắng CHẮC CHẮN. Bạn xây dựng một mô hình để quyết định đội của bạn sẽ thắng trận nào.
Để làm điều này, bạn sẽ xây dựng một thuật toán random search và tập trung vào precision của mô hình (để đảm bảo đội bạn thắng). Bạn cũng muốn lưu lại mô hình tốt nhất và các tham số tốt nhất để có thể dùng lại vào năm sau (tất nhiên nếu mô hình hoạt động tốt). Bạn đã quyết định dùng mô hình phân loại random forest rfc và đã tạo phân phối tham số param_dist.
Bài tập này là một phần của khóa học
Xác thực Mô hình trong Python
Hướng dẫn bài tập
- Tạo một precision scorer,
precisionbằngmake_scorer(<scoring_function>). - Hoàn thiện phương pháp random search bằng cách dùng
rfcvàparam_dist. - Dùng
rs.cv_results_để in ra điểm kiểm tra trung bình (mean test scores). - In ra điểm số tổng thể tốt nhất.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from sklearn.metrics import precision_score, make_scorer
# Create a precision scorer
precision = ____(____)
# Finalize the random search
rs = RandomizedSearchCV(
estimator=____, param_distributions=____,
scoring = precision,
cv=5, n_iter=10, random_state=1111)
rs.fit(X, y)
# print the mean test scores:
print('The accuracy for each run was: {}.'.format(rs.cv_results_['____']))
# print the best model score:
print('The best accuracy for a single model was: {}'.format(rs.____))