混同行列

応答変数の結果が churn のように2つしかない場合、モデルの成功度合いを測る指標は「顧客が解約したケースのうち、モデルが正しく予測できた件数」と「顧客が解約しなかったケースのうち、モデルが正しく予測できた件数」です。これらは、混同行列を作成し、その要約指標を計算することで求められます。

次の定義を思い出しましょう。

Accuracy（正解率） は、予測のうち正しいものの割合です。 $$ \text{accuracy} = \frac{TN + TP}{TN + FN + FP + TP} $$

Sensitivity（感度） は、実際に真である観測値のうち、モデルが正しく真と予測した割合です。 $$ \text{sensitivity} = \frac{TP}{TP + FN} $$

Specificity（特異度） は、実際に偽である観測値のうち、モデルが正しく偽と予測した割合です。 $$ \text{specificity} = \frac{TN}{TN + FP} $$

churn と mdl_churn_vs_both_inter が使用可能です。