ROCで比較する
2つのモデルを比較するには、ROCチャートとAUCスコアを使うとよいです。視覚化は、検討中の複数モデルの違いを、皆さんや将来のビジネスユーザーが理解するうえでとても役立ちます。
グラフを意識すると、意思決定がしやすくなります。リフトは、曲線がランダム予測からどれだけ離れているかを表します。AUCは、その曲線とランダム予測のあいだの面積です。リフトが大きく、AUCが高いモデルほど、より正確に予測できるモデルです。
学習済みモデル clf_logistic と clf_gbt はワークスペースに読み込まれています。不履行確率の予測値 clf_logistic_preds と clf_gbt_preds も読み込まれています。
この演習はコースの一部です
Pythonで学ぶクレジットリスクモデリング
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()