두 개의 샘플

tic_tac_toe 데이터셋으로 여러 분류 모델을 만든 뒤, 일부 모델은 다른 모델만큼 일반화가 잘 되지 않는다는 것을 알게 되었어요. 학습/테스트 분할은 배운 대로 정확히 했는데, 검증이 왜 제대로 되지 않는지 궁금하시죠.

다른 학습/테스트 분할을 시도해 보니 Machine Learning 모델의 정확도가 달라졌어요. 결과가 들쭉날쭉해 답답해지기 전에, 어떤 다른 요인이 있는지 확인해 보기로 했습니다.

이 연습은 강의의 일부입니다

Python에서의 모델 검증

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Create two different samples of 200 observations 
sample1 = tic_tac_toe.____(____, random_state=1111)
sample2 = tic_tac_toe.____(____, random_state=1171)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python에서의 모델 검증

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

모델을 검증하려면, 우선 모델을 만들고 다루는 방법을 알아야 합니다. 이 장에서는 scikit-learn에서 회귀와 분류 모델을 실행하는 방법을 소개합니다. 여기서 다지는 모델 구축 기초는 이후 장들에서도 계속 활용합니다.

Exercise 1: 모델 검증 소개 Exercise 2: 모델링 단계 Exercise 3: 본 데이터 vs. 미본 데이터 Exercise 4: 회귀 모델 Exercise 5: 매개변수 설정 및 모델 학습하기 Exercise 6: 특성 중요도 Exercise 7: 분류 모델 Exercise 8: 분류 예측 Exercise 9: 모델 파라미터 재사용 Exercise 10: Random forest classifier

이 장은 모델 검증의 기초에 집중합니다. 학습, 검증, 테스트 데이터셋으로 분할하는 방법부터 편향-분산 균형에 대한 이해를 쌓는 것까지, 3장에서 실습할 K-Fold와 Leave-One-Out 검증 기법의 토대를 마련합니다.

Exercise 1: 학습용, 테스트용, 검증용 데이터셋 만들기 Exercise 2: 하나의 홀드아웃 세트 만들기 Exercise 3: 두 개의 홀드아웃 세트 만들기 Exercise 4: 홀드아웃 세트를 왜 사용할까요 Exercise 5: 정확도 지표: 회귀 모델 Exercise 6: 평균 절대 오차 Exercise 7: 평균제곱오차 Exercise 8: 데이터 하위 집합에서의 성능 Exercise 9: 분류 평가 지표 Exercise 10: Confusion matrix Exercise 11: 다시 보는 혼동 행렬 Exercise 12: Precision vs. Recall Exercise 13: 바이어스-분산 트레이드오프 Exercise 14: 과소/과적합으로 인한 오류 Exercise 15: 과소적합인가요?

홀드아웃 세트는 모델 검증의 훌륭한 출발점입니다. 그러나 단일 학습/테스트 세트만으로는 충분하지 않은 경우가 많습니다. 교차 검증은 모델 성능을 검증하는 데 사실상 표준이며, 하이퍼파라미터 튜닝 시 거의 항상 사용됩니다. 이 장에서는 교차 검증을 수행해 모델 성능을 검증하는 방법에 초점을 맞춥니다.

Exercise 1: Holdout 세트의 한계 Exercise 2: 두 개의 샘플

현재 연습

Exercise 3: 가능한 문제점 Exercise 4: 교차 검증 Exercise 5: scikit-learn의 KFold()Exercise 6: KFold 인덱스 사용하기 Exercise 7: sklearn의 cross_val_score()Exercise 8: scikit-learn의 메서드 Exercise 9: cross_val_score() 구현하기 Exercise 10: LOOCV(Leave-one-out-cross-validation)Exercise 11: LOOCV를 언제 사용할까요 Exercise 12: Leave-one-out-cross-validation

1~3장에서 모델 검증 기법을 살펴보았습니다. 4장에서는 특히 교차 검증을 적용하면서 하이퍼파라미터 튜닝을 배웁니다. 결국 모델 검증이 있어야 튜닝이 가능하고, 이를 통해 전반적으로 가장 좋은 모델을 선택할 수 있습니다.

Exercise 1: 하이퍼파라미터 튜닝 소개 Exercise 2: 하이퍼파라미터 만들기 Exercise 3: 범위를 사용해 모델 실행하기 Exercise 4: RandomizedSearchCV Exercise 5: RandomizedSearch 준비하기 Exercise 6: RandomizedSearchCV 구현하기 Exercise 7: 최종 모델 선택하기 Exercise 8: 최고 분류 정확도 Exercise 9: 정밀도가 가장 높은 모델 선택하기 Exercise 10: 과정을 완료하셨습니다!