평균제곱오차

2017년 NBA 예측으로 다시 집중해 보겠습니다. 매년 예상보다 승수가 훨씬 더 많은 팀이 최소 몇 팀은 있습니다. MAE를 사용하면, 이런 나쁜 예측에서 발생한 큰 오차를 MSE만큼 강하게 반영하지 못합니다. 큰 오차를 제곱하면 정확도가 더 나쁘게 보이죠.

이 예에서는 NBA 경영진이 팀 승수를 더 잘 예측하고자 합니다. 평균제곱오차를 사용해 예측 오차를 계산해 보세요. 실제 승수는 y_test로, 예측값은 predictions로 불러와져 있습니다.

이 연습은 강의의 일부입니다

Python에서의 모델 검증

연습 안내

MSE를 수식으로 직접 계산하세요. $$ MSE = \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i ) ^2 }{n} $$
sklearn을 사용해 MSE를 계산하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

from sklearn.metrics import ____

n = ___(predictions)
# Finish the manual calculation of the MSE
mse_one = sum((y_test - predictions)____) / n
print('With a manual calculation, the error is {}'.format(mse_one))

# Use the scikit-learn function to calculate MSE
mse_two = ____
print('Using scikit-learn, the error is {}'.format(mse_two))

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python에서의 모델 검증

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

모델을 검증하려면, 우선 모델을 만들고 다루는 방법을 알아야 합니다. 이 장에서는 scikit-learn에서 회귀와 분류 모델을 실행하는 방법을 소개합니다. 여기서 다지는 모델 구축 기초는 이후 장들에서도 계속 활용합니다.

Exercise 1: 모델 검증 소개 Exercise 2: 모델링 단계 Exercise 3: 본 데이터 vs. 미본 데이터 Exercise 4: 회귀 모델 Exercise 5: 매개변수 설정 및 모델 학습하기 Exercise 6: 특성 중요도 Exercise 7: 분류 모델 Exercise 8: 분류 예측 Exercise 9: 모델 파라미터 재사용 Exercise 10: Random forest classifier

이 장은 모델 검증의 기초에 집중합니다. 학습, 검증, 테스트 데이터셋으로 분할하는 방법부터 편향-분산 균형에 대한 이해를 쌓는 것까지, 3장에서 실습할 K-Fold와 Leave-One-Out 검증 기법의 토대를 마련합니다.

Exercise 1: 학습용, 테스트용, 검증용 데이터셋 만들기 Exercise 2: 하나의 홀드아웃 세트 만들기 Exercise 3: 두 개의 홀드아웃 세트 만들기 Exercise 4: 홀드아웃 세트를 왜 사용할까요 Exercise 5: 정확도 지표: 회귀 모델 Exercise 6: 평균 절대 오차 Exercise 7: 평균제곱오차

현재 연습

Exercise 8: 데이터 하위 집합에서의 성능 Exercise 9: 분류 평가 지표 Exercise 10: Confusion matrix Exercise 11: 다시 보는 혼동 행렬 Exercise 12: Precision vs. Recall Exercise 13: 바이어스-분산 트레이드오프 Exercise 14: 과소/과적합으로 인한 오류 Exercise 15: 과소적합인가요?

홀드아웃 세트는 모델 검증의 훌륭한 출발점입니다. 그러나 단일 학습/테스트 세트만으로는 충분하지 않은 경우가 많습니다. 교차 검증은 모델 성능을 검증하는 데 사실상 표준이며, 하이퍼파라미터 튜닝 시 거의 항상 사용됩니다. 이 장에서는 교차 검증을 수행해 모델 성능을 검증하는 방법에 초점을 맞춥니다.

Exercise 1: Holdout 세트의 한계 Exercise 2: 두 개의 샘플 Exercise 3: 가능한 문제점 Exercise 4: 교차 검증 Exercise 5: scikit-learn의 KFold()Exercise 6: KFold 인덱스 사용하기 Exercise 7: sklearn의 cross_val_score()Exercise 8: scikit-learn의 메서드 Exercise 9: cross_val_score() 구현하기 Exercise 10: LOOCV(Leave-one-out-cross-validation)Exercise 11: LOOCV를 언제 사용할까요 Exercise 12: Leave-one-out-cross-validation

1~3장에서 모델 검증 기법을 살펴보았습니다. 4장에서는 특히 교차 검증을 적용하면서 하이퍼파라미터 튜닝을 배웁니다. 결국 모델 검증이 있어야 튜닝이 가능하고, 이를 통해 전반적으로 가장 좋은 모델을 선택할 수 있습니다.

Exercise 1: 하이퍼파라미터 튜닝 소개 Exercise 2: 하이퍼파라미터 만들기 Exercise 3: 범위를 사용해 모델 실행하기 Exercise 4: RandomizedSearchCV Exercise 5: RandomizedSearch 준비하기 Exercise 6: RandomizedSearchCV 구현하기 Exercise 7: 최종 모델 선택하기 Exercise 8: 최고 분류 정확도 Exercise 9: 정밀도가 가장 높은 모델 선택하기 Exercise 10: 과정을 완료하셨습니다!