キャリブレーションカーブ
勾配ブースティング木 clf_gbt が総合的に最も良い性能であることは、すでに確認しました。次は、2つのモデルのキャリブレーションを確認し、確率全体でデフォルト予測の性能がどれだけ安定しているかを見ていきます。各モデルのキャリブレーションを図で確認するには、calibration_curve() 関数を使います。
Python でキャリブレーションカーブを描くには多くのコードが必要になることがあるため、ここでは各ステップをゆっくり進めて、要素を順に追加していきます。
2つの予測結果 clf_logistic_preds と clf_gbt_preds はすでにワークスペースに読み込まれています。また、各モデルの calibration_curve() の出力は、それぞれ frac_of_pos_lr, mean_pred_val_lr, frac_of_pos_gbt, mean_pred_val_gbt として読み込まれています。
この演習はコースの一部です
Pythonで学ぶクレジットリスクモデリング
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create the calibration curve plot with the guideline
plt.____([0, 1], [0, 1], 'k:', label=____)
plt.____('Fraction of positives')
plt.____('Average Predicted Probability')
plt.legend()
plt.title('Calibration Curve')
plt.____()