過学習を確認する
\(99.9\%\) のような非常に高いインサンプルのAUCは、過学習のサインかもしれません。データセットの構造が非常に良い、あるいはモデルが本当に優れている可能性もあります。
どちらが当てはまるかを確認するには、AUC のアウトオブサンプル推定値を作成する必要があります。まだテストセットには触れたくないので、学習データに対してクロスバリデーションを行って推定します。
学習データ customers_train と、バギング木の仕様 spec_bagged はワークスペースに用意されています。
この演習はコースの一部です
Rで学ぶTree-Based ModelsによるMachine Learning
演習の手順
fit_resamples()を使い、学習データの 3 分割CVとモデル式still_customer ~ total_trans_amt + customer_age + education_levelにより、roc_aucを推定します。- 結果のメトリクスを収集して、AUC を表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
set.seed(55)
# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
___,
resamples = vfold_cv(___),
metrics = ___)
# Collect metrics
___(cv_results)