Leave-one-out-cross-validation

좋아하는 사탕이 candy 데이터셋에는 없다고 가정해 볼게요. 이 사탕의 인기도가 궁금하다고 할 때, 5-겹 교차 검증을 사용하면 한 번에 전체 데이터의 80%만 학습하게 됩니다. 그런데 candy 데이터셋은 행이 85개뿐이라 20%를 제외하면 모델 성능이 떨어질 수도 있어요. 반면, leave-one-out-cross-validation(LOOCV)을 사용하면 제한된 데이터셋을 최대한 활용하여 좋아하는 사탕의 인기도를 가장 잘 추정할 수 있습니다!

이 연습 문제에서는 cross_val_score()를 사용해 LOOCV를 수행해 보겠습니다.

이 연습은 강의의 일부입니다

Python에서의 모델 검증

연습 안내

cross_val_score()에서 사용할 mean_absolute_error로 스코어러를 만드세요.
모델 rfr, 새로 정의한 mae_scorer, 그리고 LOOCV가 사용되도록 cross_val_score()를 완성하세요.
numpy(별칭 np)를 사용해 scores의 평균과 표준편차를 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

from sklearn.metrics import mean_absolute_error, make_scorer

# Create scorer
mae_scorer = ____(____)

rfr = RandomForestRegressor(n_estimators=15, random_state=1111)

# Implement LOOCV
scores = cross_val_score(____, X=X, y=y, cv=____, scoring=____)

# Print the mean and standard deviation
print("The mean of the errors is: %s." % np.____(____))
print("The standard deviation of the errors is: %s." % np.____(____))

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python에서의 모델 검증

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

모델을 검증하려면, 우선 모델을 만들고 다루는 방법을 알아야 합니다. 이 장에서는 scikit-learn에서 회귀와 분류 모델을 실행하는 방법을 소개합니다. 여기서 다지는 모델 구축 기초는 이후 장들에서도 계속 활용합니다.

Exercise 1: 모델 검증 소개 Exercise 2: 모델링 단계 Exercise 3: 본 데이터 vs. 미본 데이터 Exercise 4: 회귀 모델 Exercise 5: 매개변수 설정 및 모델 학습하기 Exercise 6: 특성 중요도 Exercise 7: 분류 모델 Exercise 8: 분류 예측 Exercise 9: 모델 파라미터 재사용 Exercise 10: Random forest classifier

이 장은 모델 검증의 기초에 집중합니다. 학습, 검증, 테스트 데이터셋으로 분할하는 방법부터 편향-분산 균형에 대한 이해를 쌓는 것까지, 3장에서 실습할 K-Fold와 Leave-One-Out 검증 기법의 토대를 마련합니다.

Exercise 1: 학습용, 테스트용, 검증용 데이터셋 만들기 Exercise 2: 하나의 홀드아웃 세트 만들기 Exercise 3: 두 개의 홀드아웃 세트 만들기 Exercise 4: 홀드아웃 세트를 왜 사용할까요 Exercise 5: 정확도 지표: 회귀 모델 Exercise 6: 평균 절대 오차 Exercise 7: 평균제곱오차 Exercise 8: 데이터 하위 집합에서의 성능 Exercise 9: 분류 평가 지표 Exercise 10: Confusion matrix Exercise 11: 다시 보는 혼동 행렬 Exercise 12: Precision vs. Recall Exercise 13: 바이어스-분산 트레이드오프 Exercise 14: 과소/과적합으로 인한 오류 Exercise 15: 과소적합인가요?

홀드아웃 세트는 모델 검증의 훌륭한 출발점입니다. 그러나 단일 학습/테스트 세트만으로는 충분하지 않은 경우가 많습니다. 교차 검증은 모델 성능을 검증하는 데 사실상 표준이며, 하이퍼파라미터 튜닝 시 거의 항상 사용됩니다. 이 장에서는 교차 검증을 수행해 모델 성능을 검증하는 방법에 초점을 맞춥니다.

Exercise 1: Holdout 세트의 한계 Exercise 2: 두 개의 샘플 Exercise 3: 가능한 문제점 Exercise 4: 교차 검증 Exercise 5: scikit-learn의 KFold()Exercise 6: KFold 인덱스 사용하기 Exercise 7: sklearn의 cross_val_score()Exercise 8: scikit-learn의 메서드 Exercise 9: cross_val_score() 구현하기 Exercise 10: LOOCV(Leave-one-out-cross-validation)Exercise 11: LOOCV를 언제 사용할까요 Exercise 12: Leave-one-out-cross-validation

현재 연습

1~3장에서 모델 검증 기법을 살펴보았습니다. 4장에서는 특히 교차 검증을 적용하면서 하이퍼파라미터 튜닝을 배웁니다. 결국 모델 검증이 있어야 튜닝이 가능하고, 이를 통해 전반적으로 가장 좋은 모델을 선택할 수 있습니다.

Exercise 1: 하이퍼파라미터 튜닝 소개 Exercise 2: 하이퍼파라미터 만들기 Exercise 3: 범위를 사용해 모델 실행하기 Exercise 4: RandomizedSearchCV Exercise 5: RandomizedSearch 준비하기 Exercise 6: RandomizedSearchCV 구현하기 Exercise 7: 최종 모델 선택하기 Exercise 8: 최고 분류 정확도 Exercise 9: 정밀도가 가장 높은 모델 선택하기 Exercise 10: 과정을 완료하셨습니다!