檢查是否過度擬合
在樣本內的 AUC 若高達如 $99.9\%$，可能代表過度擬合。不過，也有可能是資料集結構非常理想，或是你的模型表現真的很好！
要判斷是哪一種情況，你需要產生樣本外的 AUC 估計值。因為你還不想動用測試集，可以在訓練集上透過交叉驗證來取得。
你的訓練資料 customers_train 和袋裝樹（bagged tree）的模型規格 spec_bagged 仍可在工作區使用。
本練習屬於課程
R 的樹狀模型機器學習
練習說明
- 使用
fit_resamples()，在訓練集做 3 折交叉驗證，並以模型公式still_customer ~ total_trans_amt + customer_age + education_level估計roc_auc指標。 - 收集結果的評估指標以顯示 AUC。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
set.seed(55)
# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
___,
resamples = vfold_cv(___),
metrics = ___)
# Collect metrics
___(cv_results)