Vẽ đường cong ROC

Trực quan hóa hiệu suất mô hình bằng đường cong ROC giúp bạn gom hiệu suất ở tất cả các ngưỡng có thể vào một biểu đồ duy nhất. Biểu đồ hiển thị độ nhạy (sensitivity) và độ đặc hiệu (specificity) cho mọi ngưỡng. Đường cong ROC càng "chồm lên trên và lệch trái" thì mô hình càng tốt.

Bạn sẽ dự đoán xác suất lớp của khách hàng thẻ tín dụng đã rời bỏ (churn) và vẽ kết quả thành đường cong ROC.

Đã được nạp sẵn một model, là cây quyết định được huấn luyện trên tập huấn luyện khách hàng thẻ tín dụng, và dữ liệu kiểm tra customers_test.

Bài tập này là một phần của khóa học

Machine Learning với Mô hình Dựa trên Cây trong R

Xem khóa học

Hướng dẫn bài tập

Dùng model để dự đoán xác suất lớp trên tập kiểm tra.
Thêm kết quả vào tập kiểm tra bằng bind_cols() và lưu thành predictions.
Tính đường cong ROC từ kết quả.
Vẽ đường cong ROC bằng autoplot().

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Predict probabilities on test set
predictions <- predict(___, 
                       ___, 
                       type = "___") %>% 
  # Add test set
  ___(customers_test)

# Calculate the ROC curve for all thresholds
roc <- ___(___,
           estimate = ___, 
           truth = ___)

# Plot the ROC curve
___

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Machine Learning với Mô hình Dựa trên Cây trong R

SkillTag.level.beginnerSkillTag.label

4.9+

Bắt đầu khóa học miễn phí

Sẵn sàng xây dựng một pipeline Machine Learning thực thụ? Hoàn thành các bài tập từng bước để học cách tạo cây quyết định, tách dữ liệu và dự đoán bệnh nhân nào có khả năng mắc tiểu đường cao nhất. Cuối cùng nhưng không kém phần quan trọng, bạn sẽ xây dựng các thước đo hiệu năng để đánh giá mô hình và kiểm định dự đoán của mình.

Exercise 1: Chào mừng bạn đến với khóa học!Exercise 2: Vì sao dùng phương pháp dựa trên cây?Exercise 3: Xác định cây đó Exercise 4: Huấn luyện mô hình đó Exercise 5: Cách phát triển cây của bạn Exercise 6: Chia train/test Exercise 7: Tránh mất cân bằng lớp Exercise 8: Từ số 0 đến người hùng Exercise 9: Dự đoán và đánh giá Exercise 10: Tạo dự đoán Exercise 11: Giải mã ma trận Exercise 12: Bạn dự đoán có chính xác không?

Sẵn sàng cho chút ngọt ngào? Sử dụng bộ dữ liệu đánh giá sô-cô-la để xây dựng cây hồi quy và đánh giá hiệu năng của chúng bằng các thước đo lỗi phù hợp. Bạn sẽ vượt qua sự bất ổn thống kê của việc chỉ chia train/test một lần bằng cách áp dụng các kỹ thuật “ngọt” như cross-validation, rồi đào sâu hơn nữa với việc làm chủ trade-off giữa độ chệch và phương sai.

Exercise 1: Biến đầu ra liên tục Exercise 2: Huấn luyện một cây hồi quy Exercise 3: Dự đoán giá trị mới Exercise 4: Kiểm tra đầu ra của mô hình Exercise 5: Chỉ số đánh giá cho cây hồi quy Exercise 6: Hiệu năng trong mẫu Exercise 7: Hiệu năng ngoài mẫu Exercise 8: Sai lệch lớn, phạt nặng hơn Exercise 9: Cross-validation Exercise 10: Tạo các fold Exercise 11: Huấn luyện trên các nếp gấp Exercise 12: Đánh giá các fold Exercise 13: Đánh đổi giữa độ chệch và phương sai Exercise 14: Gọi đúng tên của mọi thứ Exercise 15: Điều chỉnh độ phức tạp của mô hình Exercise 16: Hiệu suất in-sample và out-of-sample

Đến lúc nghiêm túc tinh chỉnh siêu tham số và diễn giải đường cong ROC (receiver operating characteristic). Trong chương này, bạn sẽ tận dụng “trí tuệ đám đông” với các mô hình tổ hợp như bagging hoặc random forests và xây dựng các tổ hợp dự báo khách hàng thẻ tín dụng nào có khả năng rời bỏ cao nhất.

Exercise 1: Tinh chỉnh siêu tham số Exercise 2: Tạo một lưới tinh chỉnh Exercise 3: Tinh chỉnh theo lưới Exercise 4: Chọn mô hình thắng cuộc Exercise 5: Thêm thước đo cho mô hình Exercise 6: Tính specificity Exercise 7: Vẽ đường cong ROC

Bài tập hiện tại

Exercise 8: Diện tích dưới đường cong ROC Exercise 9: Cây bagging Exercise 10: Tạo bagged trees Exercise 11: ROC và AUC trong mẫu Exercise 12: Kiểm tra overfitting Exercise 13: Random forest Exercise 14: Bagged trees vs. random forest Exercise 15: Mức độ quan trọng của biến

Sẵn sàng bước vào “giới thượng lưu” của các mô hình dựa trên cây? Áp dụng gradient boosting để tạo ra các tổ hợp mạnh mẽ có hiệu năng vượt trội so với mọi thứ bạn đã thấy hoặc từng xây dựng. Tìm hiểu cách tinh chỉnh chúng và so sánh các mô hình để chọn ra ứng viên tốt nhất đưa vào sản xuất.

Exercise 1: Giới thiệu về boosting Exercise 2: Bagging vs. boosting Exercise 3: Chỉ định một mô hình tổ hợp Boosted Exercise 4: Gradient boosting Exercise 5: Huấn luyện một boosted ensemble Exercise 6: Đánh giá mô hình ensemble Exercise 7: So sánh với một bộ phân loại đơn lẻ Exercise 8: Tối ưu hóa mô hình tổ hợp boosted Exercise 9: Chuẩn bị tinh chỉnh Exercise 10: Tinh chỉnh thực tế Exercise 11: Hoàn tất mô hình Exercise 12: So sánh mô hình Exercise 13: So sánh AUC Exercise 14: Vẽ các đường cong ROC Exercise 15: Tổng kết