別のしきい値を試す
前の演習では、予測確率を 0.50 のしきい値で区切ってクラス(岩か機雷か)を予測しました。しかし、この分類のしきい値は、与えられたモデリング課題の目的と常に一致するとは限りません。
たとえば、「本当に確信できる機雷だけを特定したい」としましょう。この場合、確率のしきい値を 0.90 に上げて「予測される機雷の数は減るが、各予測の確信度は高くする」ことが考えられます。
確率を予測クラスに区切ってから混同行列を計算するコードパターンは、この章の演習7で示しました。
この演習はコースの一部です
Rで学ぶ caret を使った Machine Learning
演習の手順
ifelse()を使って文字ベクトルm_or_rを作成します。pが 0.9 より大きいときは陽性クラスの"M"、それ以外は陰性クラスの"R"にしてください。m_or_rを、test[["Class"]]と同じレベルを持つファクターp_classに変換します。confusionMatrix()にp_classと、testデータセットの"Class"列を渡して混同行列を作成します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# If p exceeds threshold of 0.9, M else R: m_or_r
# Convert to factor: p_class
# Create confusion matrix