1. 学ぶ
    2. /
  2. コース
    3. /
  3. Rで学ぶTree-Based ModelsによるMachine Learning
Connected

演習

specificity を計算する

モデルの性能を複数の尺度で評価すると、より正確に把握できます。 用途に応じて、いくつかの指標があります。 Specificity（特異度） は、true negative（真陰性） を正しく識別できた割合を測ります。

$$\text{specificity} = \frac{TN}{TN + FP}$$

この式は、specificity が 100% に近づくほど、偽陽性（FP）が「0 に近づく」ことを意味します。

この演習では、交差検証を用いて、モデルのサンプル外における specificity を確認します。

クレジットカード顧客データセットの学習データ customers_train と、次のコードで作成した決定木の仕様 tree_spec が読み込まれています。

tree_spec <- decision_tree() %>% 
                set_engine("rpart") %>%
                set_mode("classification")

指示

100 XP
  • customers_train を 3 分割の CV フォールドにし、folds として保存します。
  • すべての説明変数で still_customer を予測し、tree_spec、モデル式、CV フォールド、適切なメトリックセットを引数にとる fit_resamples() を使って、交差検証の specificity を計算し、結果を specificities に保存します。
  • 単一の関数で結果を集約します。