So sánh AUC

So sánh các mô hình khác nhau là trọng tâm của việc chọn mô hình. Trong hai bài tập cuối, bạn sẽ so sánh các mô hình thuộc tất cả các loại đã học trong khóa này: cây quyết định, bagging (cây gom mẫu), rừng ngẫu nhiên và gradient boosting.

Tất cả các mô hình đều đã được tinh chỉnh tối ưu và huấn luyện trên cùng một tập huấn luyện customers_train, sau đó dự đoán cho tập customers_test. Kết quả là các xác suất số và có sẵn trong phiên làm việc của bạn dưới tên preds_combined:

tibble [1,011 × 5]
 $ preds_tree    : 0.144 0.441 ...
 $ preds_bagging : 0.115 0.326 ...
 $ preds_forest  : 0 0 0 0.286 ...
 $ preds_boosting: 0.136 0.149 ...
 $ still_customer: "no","no", ...

Bài tập này là một phần của khóa học

Machine Learning với Mô hình Dựa trên Cây trong R

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Calculate the AUC for each model
auc_tree   <- ___(preds_combined, truth = ___, estimate = ___)
auc_bagged <- ___(preds_combined, truth = ___, estimate = ___)
auc_forest <- ___(preds_combined, truth = ___, estimate = ___)
auc_boost  <- ___(preds_combined, truth = ___, estimate = ___)

# Print the results
auc_tree
auc_bagged
auc_forest
auc_boost

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Machine Learning với Mô hình Dựa trên Cây trong R

SkillTag.level.beginnerSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng xây dựng một pipeline Machine Learning thực thụ? Hoàn thành các bài tập từng bước để học cách tạo cây quyết định, tách dữ liệu và dự đoán bệnh nhân nào có khả năng mắc tiểu đường cao nhất. Cuối cùng nhưng không kém phần quan trọng, bạn sẽ xây dựng các thước đo hiệu năng để đánh giá mô hình và kiểm định dự đoán của mình.

Exercise 1: Chào mừng bạn đến với khóa học!Exercise 2: Vì sao dùng phương pháp dựa trên cây?Exercise 3: Xác định cây đó Exercise 4: Huấn luyện mô hình đó Exercise 5: Cách phát triển cây của bạn Exercise 6: Chia train/test Exercise 7: Tránh mất cân bằng lớp Exercise 8: Từ số 0 đến người hùng Exercise 9: Dự đoán và đánh giá Exercise 10: Tạo dự đoán Exercise 11: Giải mã ma trận Exercise 12: Bạn dự đoán có chính xác không?

Sẵn sàng cho chút ngọt ngào? Sử dụng bộ dữ liệu đánh giá sô-cô-la để xây dựng cây hồi quy và đánh giá hiệu năng của chúng bằng các thước đo lỗi phù hợp. Bạn sẽ vượt qua sự bất ổn thống kê của việc chỉ chia train/test một lần bằng cách áp dụng các kỹ thuật “ngọt” như cross-validation, rồi đào sâu hơn nữa với việc làm chủ trade-off giữa độ chệch và phương sai.

Exercise 1: Biến đầu ra liên tục Exercise 2: Huấn luyện một cây hồi quy Exercise 3: Dự đoán giá trị mới Exercise 4: Kiểm tra đầu ra của mô hình Exercise 5: Chỉ số đánh giá cho cây hồi quy Exercise 6: Hiệu năng trong mẫu Exercise 7: Hiệu năng ngoài mẫu Exercise 8: Sai lệch lớn, phạt nặng hơn Exercise 9: Cross-validation Exercise 10: Tạo các fold Exercise 11: Huấn luyện trên các nếp gấp Exercise 12: Đánh giá các fold Exercise 13: Đánh đổi giữa độ chệch và phương sai Exercise 14: Gọi đúng tên của mọi thứ Exercise 15: Điều chỉnh độ phức tạp của mô hình Exercise 16: Hiệu suất in-sample và out-of-sample

Đến lúc nghiêm túc tinh chỉnh siêu tham số và diễn giải đường cong ROC (receiver operating characteristic). Trong chương này, bạn sẽ tận dụng “trí tuệ đám đông” với các mô hình tổ hợp như bagging hoặc random forests và xây dựng các tổ hợp dự báo khách hàng thẻ tín dụng nào có khả năng rời bỏ cao nhất.

Exercise 1: Tinh chỉnh siêu tham số Exercise 2: Tạo một lưới tinh chỉnh Exercise 3: Tinh chỉnh theo lưới Exercise 4: Chọn mô hình thắng cuộc Exercise 5: Thêm thước đo cho mô hình Exercise 6: Tính specificity Exercise 7: Vẽ đường cong ROC Exercise 8: Diện tích dưới đường cong ROC Exercise 9: Cây bagging Exercise 10: Tạo bagged trees Exercise 11: ROC và AUC trong mẫu Exercise 12: Kiểm tra overfitting Exercise 13: Random forest Exercise 14: Bagged trees vs. random forest Exercise 15: Mức độ quan trọng của biến

Sẵn sàng bước vào “giới thượng lưu” của các mô hình dựa trên cây? Áp dụng gradient boosting để tạo ra các tổ hợp mạnh mẽ có hiệu năng vượt trội so với mọi thứ bạn đã thấy hoặc từng xây dựng. Tìm hiểu cách tinh chỉnh chúng và so sánh các mô hình để chọn ra ứng viên tốt nhất đưa vào sản xuất.

Exercise 1: Giới thiệu về boosting Exercise 2: Bagging vs. boosting Exercise 3: Chỉ định một mô hình tổ hợp Boosted Exercise 4: Gradient boosting Exercise 5: Huấn luyện một boosted ensemble Exercise 6: Đánh giá mô hình ensemble Exercise 7: So sánh với một bộ phân loại đơn lẻ Exercise 8: Tối ưu hóa mô hình tổ hợp boosted Exercise 9: Chuẩn bị tinh chỉnh Exercise 10: Tinh chỉnh thực tế Exercise 11: Hoàn tất mô hình Exercise 12: So sánh mô hình Exercise 13: So sánh AUC

Bài tập hiện tại

Exercise 14: Vẽ các đường cong ROC Exercise 15: Tổng kết