AUC 비교

서로 다른 모델을 비교하는 일은 모델 선택의 핵심이에요. 마지막 두 개의 연습 문제에서는 이 강의에서 다룬 모든 모델(의사결정나무, 배깅 트리, 랜덤 포레스트, 그래디언트 부스팅)을 대상으로 성능을 비교해 보겠습니다.

모든 모델은 충분히 튜닝되었고 동일한 학습용 데이터셋 customers_train으로 학습했으며, customers_test 데이터셋에 대해 예측을 생성했어요. 예측 결과는 숫자 확률이며, 세션의 preds_combined로 제공됩니다:

tibble [1,011 × 5]
 $ preds_tree    : 0.144 0.441 ...
 $ preds_bagging : 0.115 0.326 ...
 $ preds_forest  : 0 0 0 0.286 ...
 $ preds_boosting: 0.136 0.149 ...
 $ still_customer: "no","no", ...

이 연습은 강의의 일부입니다

R로 배우는 트리 기반 Machine Learning

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Calculate the AUC for each model
auc_tree   <- ___(preds_combined, truth = ___, estimate = ___)
auc_bagged <- ___(preds_combined, truth = ___, estimate = ___)
auc_forest <- ___(preds_combined, truth = ___, estimate = ___)
auc_boost  <- ___(preds_combined, truth = ___, estimate = ___)

# Print the results
auc_tree
auc_bagged
auc_forest
auc_boost

코드 편집 및 실행

이 연습은 강의의 일부입니다

R로 배우는 트리 기반 Machine Learning

SkillTag.level.beginnerSkillTag.label

4.9+

무료로 강의 시작하기

진짜 Machine Learning 파이프라인을 만들어 볼 준비가 되셨나요? 단계별 연습을 통해 의사결정나무를 만들고, 데이터를 분할하며, 당뇨병에 걸릴 가능성이 높은 환자를 예측하는 방법을 배워요. 마지막으로, 모델을 평가하고 예측을 판단하기 위한 성능 지표도 구축합니다.

Exercise 1: 강의에 오신 것을 환영합니다!Exercise 2: 왜 트리 기반 방법일까요?Exercise 3: 트리 사양 지정하기 Exercise 4: 모델을 학습해 봅시다 Exercise 5: 나무를 어떻게 키울까요 Exercise 6: 학습/테스트 분할 Exercise 7: 클래스 불균형 피하기 Exercise 8: From zero to hero Exercise 9: 예측하고 평가하기 Exercise 10: 예측 만들기 Exercise 11: 행렬을 해독해 보세요 Exercise 12: 예측을 제대로 하고 있나요?

달콤한 예제가 준비됐어요! 초콜릿 평점 데이터셋으로 회귀 나무를 만들고, 적절한 오류 지표를 사용해 성능을 평가해 보세요. 교차 검증 같은 달콤한 기법을 적용해 단일 학습/테스트 분할의 통계적 불확실성을 극복하고, 편향-분산 균형도 더 깊이 다뤄 봅니다.

Exercise 1: 연속형 결과 Exercise 2: 회귀 트리 학습하기 Exercise 3: 새 값 예측하기 Exercise 4: 모델 출력 점검하기 Exercise 5: 회귀 트리의 성능 지표 Exercise 6: 샘플 내 성능(In-sample performance)Exercise 7: 샘플 외 성능 Exercise 8: 실수가 클수록 더 큰 패널티 Exercise 9: 교차 검증 Exercise 10: 폴드 만들기 Exercise 11: 폴드 적합하기 Exercise 12: 폴드 평가하기 Exercise 13: 바이어스-분산 트레이드오프 Exercise 14: 이름에 맞게 분류해 보세요 Exercise 15: 모델 복잡도 조절하기 Exercise 16: 샘플 내 성능과 샘플 외 성능

이제 하이퍼파라미터 튜닝과 ROC 곡선 해석을 본격적으로 진행할 때예요. 배깅과 랜덤 포레스트 같은 앙상블 모델로 ‘집단 지성’을 활용하고, 어떤 신용카드 고객이 이탈할 가능성이 높은지 예측하는 앙상블을 구축합니다.

Exercise 1: 하이퍼파라미터 튜닝 Exercise 2: 튜닝 그리드 생성하기 Exercise 3: 그리드 따라 튜닝하기 Exercise 4: 우승 모델을 고르세요 Exercise 5: 더 많은 모델 평가 지표 Exercise 6: Specificity 계산하기 Exercise 7: ROC 곡선 그리기 Exercise 8: ROC 곡선 아래 면적 Exercise 9: 배깅 트리 Exercise 10: 배깅 트리 만들기 Exercise 11: 샘플 내 ROC와 AUC Exercise 12: 과적합 여부 확인하기 Exercise 13: 랜덤 포레스트 Exercise 14: 배깅 트리 vs. 랜덤 포레스트 Exercise 15: 변수 중요도

트리 기반 모델의 정수로 가 볼까요? 그래디언트 부스팅을 적용해 지금까지 보거나 만들어 본 것보다 더 뛰어난 성능을 내는 강력한 앙상블을 구축합니다. 미세 조정 방법을 익히고, 다양한 모델을 비교해 운영 환경에 배포할 최종 우승 모델을 고르는 방법을 배워요.

Exercise 1: 부스팅 소개 Exercise 2: 배깅 vs. 부스팅 Exercise 3: 부스팅 앙상블 지정하기 Exercise 4: Gradient boosting Exercise 5: 부스팅 앙상블 학습하기 Exercise 6: 앙상블 평가하기 Exercise 7: 단일 분류기와 비교하기 Exercise 8: 부스티드 앙상블 최적화 Exercise 9: 튜닝 준비 Exercise 10: 실제 튜닝 수행 Exercise 11: 모델 최종화하기 Exercise 12: 모델 비교 Exercise 13: AUC 비교

현재 연습

Exercise 14: ROC 곡선 그리기 Exercise 15: 정리