過学習を確認する

\(99.9\%\) のような非常に高いインサンプルのAUCは、過学習のサインかもしれません。データセットの構造が非常に良い、あるいはモデルが本当に優れている可能性もあります。

どちらが当てはまるかを確認するには、AUC のアウトオブサンプル推定値を作成する必要があります。まだテストセットには触れたくないので、学習データに対してクロスバリデーションを行って推定します。

学習データ customers_train と、バギング木の仕様 spec_bagged はワークスペースに用意されています。