信用モデルを可視的に評価する

ここではモデルのパフォーマンスを可視化します。ROC 曲線では、X 軸と Y 軸に、すでに見た 2 つの指標（偽陽性率（fall-out）と真陽性率（sensitivity））を使います。

次のコードで、このモデルの ROC 曲線を作成できます。

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)

AUC を計算するには、roc_auc_score() を使用します。

信用データ cr_loan_prep と、データセット X_test、y_test はすべてワークスペースに読み込まれています。学習済みの LogisticRegression() モデル clf_logistic もワークスペースに読み込まれています。

デフォルト確率の予測を作成し、preds に保存します。
X と y のテストセットに対するモデルの正解率を出力します。
テストデータとデフォルト確率で roc_curve() を使って fallout と sensitivity を作成し、fallout を x 軸にして ROC 曲線を描画します。
テストデータとデフォルト確率を用いてモデルの AUC を計算し、auc に保存します。