교차 검증 통계
그리드 서치 CV를 사용해 랜덤 포레스트 분류기를 튜닝했으며, 이제 과적합이 없는지 확인하기 위해 교차 검증 결과를 살펴보려고 해요. 특히 각 폴드의 평균 테스트 점수에서 평균 훈련 점수를 뺀 차이를 계산하고자 합니다. 데이터셋은 X_train과 y_train으로 제공되고, 파이프라인은 pipe이며, pandas는 pd로, GridSearchCV()를 포함한 여러 모듈이 미리 로드되어 있어요.
이 연습은 강의의 일부입니다
Python으로 설계하는 Machine Learning 워크플로
연습 안내
- 교차 검증 폴드를 3개로 설정하고, 훈련 통계와 테스트 통계를 모두 반환하도록 하는 그리드 서치 객체를 생성하세요.
- 그리드 서치 객체를 훈련 데이터에 맞춰 학습시키세요.
- 학습이 완료된 CV 객체의
cv_results_속성에 있는 교차 검증 결과를 데이터프레임으로 저장하세요. - 평균 테스트 점수가 담긴 열과 평균 훈련 점수가 담긴 열의 차이를 출력하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Fit your pipeline using GridSearchCV with three folds
grid_search = GridSearchCV(
pipe, params, ____=3, return_train_score=____)
# Fit the grid search
gs = grid_search.____(____, ____)
# Store the results of CV into a pandas dataframe
results = pd.____(gs.____)
# Print the difference between mean test and training scores
print(
results[____]-results['mean_train_score'])