과적합 여부 확인하기
$99.9\%$처럼 학습 데이터에서 AUC가 매우 높다면 과적합의 신호일 수 있어요. 물론 데이터셋이 정말 잘 정리되어 있거나, 모델이 정말 훌륭할 수도 있죠!
어떤 경우인지 확인하려면 AUC의 검증용(샘플 외) 추정치를 만들어야 해요. 아직 테스트 세트는 건드리고 싶지 않으니, 학습 세트에서 교차 검증을 사용해 이를 계산할 수 있어요.
작업 공간에는 학습 데이터 customers_train과 배깅 트리 사양 spec_bagged가 준비되어 있어요.
이 연습은 강의의 일부입니다
R로 배우는 트리 기반 Machine Learning
연습 안내
fit_resamples()를 사용해 학습 세트에서 세 개의 CV 폴드를 적용하고, 모델 수식still_customer ~ total_trans_amt + customer_age + education_level에 대해roc_auc지표를 추정하세요.- 결과의 메트릭을 수집해 AUC를 표시하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
set.seed(55)
# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
___,
resamples = vfold_cv(___),
metrics = ___)
# Collect metrics
___(cv_results)