모델을 검증하려면, 우선 모델을 만들고 다루는 방법을 알아야 합니다. 이 장에서는 scikit-learn에서 회귀와 분류 모델을 실행하는 방법을 소개합니다. 여기서 다지는 모델 구축 기초는 이후 장들에서도 계속 활용합니다.

모델 검증 소개

모델링 단계

본 데이터 vs. 미본 데이터

회귀 모델

매개변수 설정 및 모델 학습하기

특성 중요도

분류 모델

분류 예측

모델 파라미터 재사용

Random forest classifier

scikit-learn으로 시작하는 기본 모델링

이 장은 모델 검증의 기초에 집중합니다. 학습, 검증, 테스트 데이터셋으로 분할하는 방법부터 편향-분산 균형에 대한 이해를 쌓는 것까지, 3장에서 실습할 K-Fold와 Leave-One-Out 검증 기법의 토대를 마련합니다.

학습용, 테스트용, 검증용 데이터셋 만들기

하나의 홀드아웃 세트 만들기

두 개의 홀드아웃 세트 만들기

홀드아웃 세트를 왜 사용할까요

정확도 지표: 회귀 모델

평균 절대 오차

평균제곱오차

데이터 하위 집합에서의 성능

분류 평가 지표

Confusion matrix

다시 보는 혼동 행렬

Precision vs. Recall

바이어스-분산 트레이드오프

과소/과적합으로 인한 오류

과소적합인가요?

검증의 기초

홀드아웃 세트는 모델 검증의 훌륭한 출발점입니다. 그러나 단일 학습/테스트 세트만으로는 충분하지 않은 경우가 많습니다. 교차 검증은 모델 성능을 검증하는 데 사실상 표준이며, 하이퍼파라미터 튜닝 시 거의 항상 사용됩니다. 이 장에서는 교차 검증을 수행해 모델 성능을 검증하는 방법에 초점을 맞춥니다.

Holdout 세트의 한계

두 개의 샘플

가능한 문제점

교차 검증

scikit-learn의 KFold()

KFold 인덱스 사용하기

sklearn의 cross_val_score()

scikit-learn의 메서드

cross_val_score() 구현하기

LOOCV(Leave-one-out-cross-validation)

LOOCV를 언제 사용할까요

Leave-one-out-cross-validation

1~3장에서 모델 검증 기법을 살펴보았습니다. 4장에서는 특히 교차 검증을 적용하면서 하이퍼파라미터 튜닝을 배웁니다. 결국 모델 검증이 있어야 튜닝이 가능하고, 이를 통해 전반적으로 가장 좋은 모델을 선택할 수 있습니다.

하이퍼파라미터 튜닝 소개

하이퍼파라미터 만들기

범위를 사용해 모델 실행하기

RandomizedSearchCV

RandomizedSearch 준비하기

RandomizedSearchCV 구현하기

최종 모델 선택하기

최고 분류 정확도

정밀도가 가장 높은 모델 선택하기

과정을 완료하셨습니다!

하이퍼파라미터 튜닝으로 최적 모델 선택

Tic-Tac-Toe dataset

Candy dataset

요즘은 Machine Learning 모델을 구현하기가 그 어느 때보다 쉬워졌습니다. 하지만 올바르게 검증하지 않으면, 새 데이터를 모델에 넣어 얻은 결과가 기대만큼 정확하지 않을 수 있어요. 모델 검증은 “모델이 얼마나 좋은가요?”라는 질문에 자신 있게 답할 수 있게 해줍니다. 이 강의에서는 분류 모델은 틱택토 최종 국면 전체 시나리오를, 회귀 모델은 fivethirtyeight의 Halloween 캔디 파워 랭킹 데이터셋을 사용해 이 질문에 답해 봅니다. 강의 전반에서 모델 검증의 기본을 다루고, 다양한 검증 기법을 살펴보며, 신뢰할 수 있고 성능이 뛰어난 모델을 만드는 도구를 익혀 갑니다.

Supervised Learning with scikit-learn

모델 검증 기초와 기법을 배우고, 검증된 고성능 모델을 만드세요.

Python에서의 모델 검증

모델 검증의 기초와 주요 기법을 배우고, 검증된 고성능 모델을 직접 만들어 보세요.

정확도 지표: 회귀 모델

Create Your Free Account