specificity を計算する
モデルの性能を複数の尺度で評価すると、より正確に把握できます。 用途に応じて、いくつかの指標があります。 Specificity（特異度） は、true negative（真陰性） を正しく識別できた割合を測ります。
$$\text{specificity} = \frac{TN}{TN + FP}$$
この式は、specificity が 100% に近づくほど、偽陽性（FP）が「0 に近づく」ことを意味します。
この演習では、交差検証を用いて、モデルのサンプル外における specificity を確認します。
クレジットカード顧客データセットの学習データ customers_train と、次のコードで作成した決定木の仕様 tree_spec が読み込まれています。
tree_spec <- decision_tree() %>%
set_engine("rpart") %>%
set_mode("classification")
この演習はコースの一部です
Rで学ぶTree-Based ModelsによるMachine Learning
演習の手順
customers_trainを 3 分割の CV フォールドにし、foldsとして保存します。- すべての説明変数で
still_customerを予測し、tree_spec、モデル式、CV フォールド、適切なメトリックセットを引数にとるfit_resamples()を使って、交差検証のspecificityを計算し、結果をspecificitiesに保存します。 - 単一の関数で結果を集約します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create CV folds of the training data
folds <- ___(customers_train, v = ___)
# Calculate CV specificity
specificities <- ___(___,
___,
resamples = ___,
metrics = ___)
# Collect the metrics
___(specificities)