ROCで比較する

2つのモデルを比較するには、ROCチャートとAUCスコアを使うとよいです。視覚化は、検討中の複数モデルの違いを、皆さんや将来のビジネスユーザーが理解するうえでとても役立ちます。

グラフを意識すると、意思決定がしやすくなります。リフトは、曲線がランダム予測からどれだけ離れているかを表します。AUCは、その曲線とランダム予測のあいだの面積です。リフトが大きく、AUCが高いモデルほど、より正確に予測できるモデルです。

学習済みモデル clf_logistic と clf_gbt はワークスペースに読み込まれています。不履行確率の予測値 clf_logistic_preds と clf_gbt_preds も読み込まれています。