홀드아웃 세트를 왜 사용할까요

두 개(학습, 테스트) 대신 세 개(학습, 검증, 테스트)의 데이터셋을 언제 사용해야 하는지 이해하는 것이 중요해요. 사용하지 않을 추가 분할을 만드는 것은 의미가 없어요.

학습, 검증, 그리고 테스트 데이터셋을 함께 사용하는 것을 언제 고려해야 할까요?

이 연습은 강의의 일부입니다

Python에서의 모델 검증

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

이 연습은 강의의 일부입니다

Python에서의 모델 검증

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

모델을 검증하려면, 우선 모델을 만들고 다루는 방법을 알아야 합니다. 이 장에서는 scikit-learn에서 회귀와 분류 모델을 실행하는 방법을 소개합니다. 여기서 다지는 모델 구축 기초는 이후 장들에서도 계속 활용합니다.

Exercise 1: 모델 검증 소개 Exercise 2: 모델링 단계 Exercise 3: 본 데이터 vs. 미본 데이터 Exercise 4: 회귀 모델 Exercise 5: 매개변수 설정 및 모델 학습하기 Exercise 6: 특성 중요도 Exercise 7: 분류 모델 Exercise 8: 분류 예측 Exercise 9: 모델 파라미터 재사용 Exercise 10: Random forest classifier

이 장은 모델 검증의 기초에 집중합니다. 학습, 검증, 테스트 데이터셋으로 분할하는 방법부터 편향-분산 균형에 대한 이해를 쌓는 것까지, 3장에서 실습할 K-Fold와 Leave-One-Out 검증 기법의 토대를 마련합니다.

Exercise 1: 학습용, 테스트용, 검증용 데이터셋 만들기 Exercise 2: 하나의 홀드아웃 세트 만들기 Exercise 3: 두 개의 홀드아웃 세트 만들기 Exercise 4: 홀드아웃 세트를 왜 사용할까요

현재 연습

Exercise 5: 정확도 지표: 회귀 모델 Exercise 6: 평균 절대 오차 Exercise 7: 평균제곱오차 Exercise 8: 데이터 하위 집합에서의 성능 Exercise 9: 분류 평가 지표 Exercise 10: Confusion matrix Exercise 11: 다시 보는 혼동 행렬 Exercise 12: Precision vs. Recall Exercise 13: 바이어스-분산 트레이드오프 Exercise 14: 과소/과적합으로 인한 오류 Exercise 15: 과소적합인가요?

홀드아웃 세트는 모델 검증의 훌륭한 출발점입니다. 그러나 단일 학습/테스트 세트만으로는 충분하지 않은 경우가 많습니다. 교차 검증은 모델 성능을 검증하는 데 사실상 표준이며, 하이퍼파라미터 튜닝 시 거의 항상 사용됩니다. 이 장에서는 교차 검증을 수행해 모델 성능을 검증하는 방법에 초점을 맞춥니다.

Exercise 1: Holdout 세트의 한계 Exercise 2: 두 개의 샘플 Exercise 3: 가능한 문제점 Exercise 4: 교차 검증 Exercise 5: scikit-learn의 KFold()Exercise 6: KFold 인덱스 사용하기 Exercise 7: sklearn의 cross_val_score()Exercise 8: scikit-learn의 메서드 Exercise 9: cross_val_score() 구현하기 Exercise 10: LOOCV(Leave-one-out-cross-validation)Exercise 11: LOOCV를 언제 사용할까요 Exercise 12: Leave-one-out-cross-validation

1~3장에서 모델 검증 기법을 살펴보았습니다. 4장에서는 특히 교차 검증을 적용하면서 하이퍼파라미터 튜닝을 배웁니다. 결국 모델 검증이 있어야 튜닝이 가능하고, 이를 통해 전반적으로 가장 좋은 모델을 선택할 수 있습니다.

Exercise 1: 하이퍼파라미터 튜닝 소개 Exercise 2: 하이퍼파라미터 만들기 Exercise 3: 범위를 사용해 모델 실행하기 Exercise 4: RandomizedSearchCV Exercise 5: RandomizedSearch 준비하기 Exercise 6: RandomizedSearchCV 구현하기 Exercise 7: 최종 모델 선택하기 Exercise 8: 최고 분류 정확도 Exercise 9: 정밀도가 가장 높은 모델 선택하기 Exercise 10: 과정을 완료하셨습니다!