1. Învăţa
  2. /
  3. Courses
  4. /
  5. Rで学ぶTree-Based ModelsによるMachine Learning

Connected

exercise

過学習を確認する

\(99.9\%\) のような非常に高いインサンプルのAUCは、過学習のサインかもしれません。データセットの構造が非常に良い、あるいはモデルが本当に優れている可能性もあります。

どちらが当てはまるかを確認するには、AUC のアウトオブサンプル推定値を作成する必要があります。まだテストセットには触れたくないので、学習データに対してクロスバリデーションを行って推定します。

学習データ customers_train と、バギング木の仕様 spec_bagged はワークスペースに用意されています。

Instrucţiuni

100 XP
  • fit_resamples() を使い、学習データの 3 分割CVとモデル式 still_customer ~ total_trans_amt + customer_age + education_level により、roc_auc を推定します。
  • 結果のメトリクスを収集して、AUC を表示します。