1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Machine Learning với Mô hình Dựa trên Cây trong R
Connected

Bài tập

Tính specificity

Sử dụng các thước đo khác nhau cho hiệu năng mô hình giúp bạn đánh giá chính xác hơn. Có nhiều metric phù hợp cho các tình huống sử dụng khác nhau. Specificity đo tỷ lệ âm tính thật (true negative) được nhận diện đúng:

$$\text{specificity} = \frac{TN}{TN + FP}$$

Công thức này ngụ ý rằng khi specificity tiến gần 100%, số lượng dương tính giả (FP) sẽ tiến gần 0.

Trong bài này, bạn sẽ khảo sát specificity ngoài mẫu của mô hình bằng cross-validation.

Đã được nạp sẵn là dữ liệu huấn luyện của bộ dữ liệu khách hàng thẻ tín dụng, customers_train, và đặc tả cây quyết định, tree_spec, được tạo bằng đoạn mã sau:

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

Hướng dẫn

100 XP
  • Tạo ba fold CV từ customers_train và lưu là folds.
  • Tính specificity cross-validated bằng hàm fit_resamples() nhận vào đặc tả tree_spec, một công thức mô hình, các fold CV và bộ metric phù hợp. Dùng tất cả biến dự báo để dự đoán still_customer, lưu kết quả vào specificities.
  • Tổng hợp kết quả bằng một hàm duy nhất.