cross_val_score() 구현하기

회사에서 새 사탕을 몇 가지 출시했지만, 다섯 가지 모두를 출시해야 할지 확신이 없어요. 새 사탕의 인기도를 예측하기 위해 candy 데이터셋으로 회귀 모델을 구축해 달라는 요청을 받았어요. 반응값은 다른 사탕과의 대결에서 이긴 비율(승률)이라는 점을 기억해 주세요.

여러 회귀 모델을 시도하기 전에, 간단한 랜덤 포레스트 모델에 교차 검증을 수행해 기준 오차를 만든 뒤 이후 결과와 비교하기로 했어요.

이 연습은 강의의 일부입니다

Python에서의 모델 검증

연습 안내

cross_val_score()를 채워 넣으세요.
- 학습 데이터로 X_train, 반응값으로 y_train을 사용하세요.
- 모델은 rfc, 교차 검증은 10-겹, 평가지표는 mse를 사용하세요.
cv 결과의 평균을 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

rfc = RandomForestRegressor(n_estimators=25, random_state=1111)
mse = make_scorer(mean_squared_error)

# Set up cross_val_score
cv = cross_val_score(estimator=____,
                     X=____,
                     y=____,
                     cv=____,
                     scoring=____)

# Print the mean error
print(cv.____())

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python에서의 모델 검증

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

모델을 검증하려면, 우선 모델을 만들고 다루는 방법을 알아야 합니다. 이 장에서는 scikit-learn에서 회귀와 분류 모델을 실행하는 방법을 소개합니다. 여기서 다지는 모델 구축 기초는 이후 장들에서도 계속 활용합니다.

Exercise 1: 모델 검증 소개 Exercise 2: 모델링 단계 Exercise 3: 본 데이터 vs. 미본 데이터 Exercise 4: 회귀 모델 Exercise 5: 매개변수 설정 및 모델 학습하기 Exercise 6: 특성 중요도 Exercise 7: 분류 모델 Exercise 8: 분류 예측 Exercise 9: 모델 파라미터 재사용 Exercise 10: Random forest classifier

이 장은 모델 검증의 기초에 집중합니다. 학습, 검증, 테스트 데이터셋으로 분할하는 방법부터 편향-분산 균형에 대한 이해를 쌓는 것까지, 3장에서 실습할 K-Fold와 Leave-One-Out 검증 기법의 토대를 마련합니다.

Exercise 1: 학습용, 테스트용, 검증용 데이터셋 만들기 Exercise 2: 하나의 홀드아웃 세트 만들기 Exercise 3: 두 개의 홀드아웃 세트 만들기 Exercise 4: 홀드아웃 세트를 왜 사용할까요 Exercise 5: 정확도 지표: 회귀 모델 Exercise 6: 평균 절대 오차 Exercise 7: 평균제곱오차 Exercise 8: 데이터 하위 집합에서의 성능 Exercise 9: 분류 평가 지표 Exercise 10: Confusion matrix Exercise 11: 다시 보는 혼동 행렬 Exercise 12: Precision vs. Recall Exercise 13: 바이어스-분산 트레이드오프 Exercise 14: 과소/과적합으로 인한 오류 Exercise 15: 과소적합인가요?

홀드아웃 세트는 모델 검증의 훌륭한 출발점입니다. 그러나 단일 학습/테스트 세트만으로는 충분하지 않은 경우가 많습니다. 교차 검증은 모델 성능을 검증하는 데 사실상 표준이며, 하이퍼파라미터 튜닝 시 거의 항상 사용됩니다. 이 장에서는 교차 검증을 수행해 모델 성능을 검증하는 방법에 초점을 맞춥니다.

Exercise 1: Holdout 세트의 한계 Exercise 2: 두 개의 샘플 Exercise 3: 가능한 문제점 Exercise 4: 교차 검증 Exercise 5: scikit-learn의 KFold()Exercise 6: KFold 인덱스 사용하기 Exercise 7: sklearn의 cross_val_score()Exercise 8: scikit-learn의 메서드 Exercise 9: cross_val_score() 구현하기

현재 연습

Exercise 10: LOOCV(Leave-one-out-cross-validation)Exercise 11: LOOCV를 언제 사용할까요 Exercise 12: Leave-one-out-cross-validation

1~3장에서 모델 검증 기법을 살펴보았습니다. 4장에서는 특히 교차 검증을 적용하면서 하이퍼파라미터 튜닝을 배웁니다. 결국 모델 검증이 있어야 튜닝이 가능하고, 이를 통해 전반적으로 가장 좋은 모델을 선택할 수 있습니다.

Exercise 1: 하이퍼파라미터 튜닝 소개 Exercise 2: 하이퍼파라미터 만들기 Exercise 3: 범위를 사용해 모델 실행하기 Exercise 4: RandomizedSearchCV Exercise 5: RandomizedSearch 준비하기 Exercise 6: RandomizedSearchCV 구현하기 Exercise 7: 최종 모델 선택하기 Exercise 8: 최고 분류 정확도 Exercise 9: 정밀도가 가장 높은 모델 선택하기 Exercise 10: 과정을 완료하셨습니다!