KNN의 하이퍼파라미터

이전 연습에서 배운 개념을 적용하려면, 새로운 알고리즘에 시도해 보는 것이 좋습니다. k-nearest-neighbors 알고리즘은 예전만큼 대중적이지는 않지만, 유사한 방식으로 행동하는 데이터 군집이 있을 때는 훌륭한 선택이 될 수 있어요. 우리 신용카드 사용자 데이터에도 이런 특성이 있을까요?

이번에는 knn 알고리즘의 핵심 하이퍼파라미터 중 하나에 대해 여러 값을 시도하고 성능을 비교해 보겠습니다.

다음 데이터가 제공됩니다:

X_train, X_test, y_train, y_test DataFrame

이 연습은 강의의 일부입니다

Python에서의 하이퍼파라미터 튜닝

연습 안내

n_neighbors 값을 [5,10,20]로 바꿔가며 knn 추정기를 만드세요.
각 모델을 학습 데이터에 적합하고, 예측 값을 생성하세요.
각 모델의 정확도를 계산해 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Build a knn estimator for each value of n_neighbours
knn_5 = KNeighborsClassifier(n_neighbors=____)
knn_10 = KNeighborsClassifier(n_neighbors=____)
knn_20 = KNeighborsClassifier(n_neighbors=____)

# Fit each to the training data & produce predictions
knn_5_predictions = knn_5.fit(_____, _____).predict(_____)
knn_10_predictions = knn_10.fit(_____, _____).predict(_____)
knn_20_predictions = knn_20.fit(_____, _____).predict(_____)

# Get an accuracy score for each of the models
knn_5_accuracy = accuracy_score(y_test, _____)
knn_10_accuracy = accuracy_score(y_test, _____)
knn_20_accuracy = accuracy_score(y_test, _____)
print("The accuracy of 5, 10, 20 neighbours was {}, {}, {}".format(_____, _____, _____))

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python에서의 하이퍼파라미터 튜닝

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

이 도입 장에서는 하이퍼파라미터와 파라미터의 차이를 학습합니다. 여러 인기 있는 Machine Learning 알고리즘을 대상으로 파라미터를 추출·분석하고, 하이퍼파라미터 값을 설정하는 연습을 해보세요. 또한 어떤 하이퍼파라미터를 튜닝할지, 어떤 값으로 설정할지에 대한 모범 사례 팁과 요령을 익히고, 학습 곡선을 만들어 하이퍼파라미터 선택을 분석하는 방법도 배웁니다.

Exercise 1: 소개 & '파라미터'Exercise 2: Logistic Regression의 매개변수(Parameters)Exercise 3: Logistic Regression 파라미터 추출하기 Exercise 4: Random Forest의 파라미터 추출하기 Exercise 5: 하이퍼파라미터 소개 Exercise 6: Random Forest의 하이퍼파라미터 Exercise 7: Random Forest 하이퍼파라미터 탐색 Exercise 8: KNN의 하이퍼파라미터

현재 연습

Exercise 9: 하이퍼파라미터 값 설정과 분석 Exercise 10: 하이퍼파라미터 선택 자동화 Exercise 11: 러닝 커브 만들기

이번 장에서는 Grid Search라 불리는 널리 쓰이는 자동 하이퍼파라미터 튜닝 방법을 소개합니다. Grid Search가 무엇이고 어떻게 동작하는지 배우고, Scikit Learn으로 직접 Grid Search를 수행해 봅니다. 이어서 Grid Search 결과를 해석하는 방법을 익히고, 이를 실습으로 체득합니다.

Exercise 1: Grid Search 소개 Exercise 2: Grid Search 함수 만들기 Exercise 3: 여러 하이퍼파라미터를 반복적으로 튜닝하기 Exercise 4: 모델은 몇 개인가요?Exercise 5: Scikit Learn으로 하는 Grid Search Exercise 6: GridSearchCV 입력 Exercise 7: Scikit Learn에서의 GridSearchCV Exercise 8: Grid search 결과 이해하기 Exercise 9: 최적 결과 활용하기 Exercise 10: Grid search 결과 살펴보기 Exercise 11: 최고 결과 분석하기 Exercise 12: 최적 결과 활용하기

이 장에서는 또 다른 대표적인 자동 하이퍼파라미터 튜닝 방법인 Random Search를 소개합니다. 무엇인지, 어떻게 작동하는지, 그리고 Grid Search와 어떻게 다른지가 핵심입니다. 이 방법의 장단점과 Grid Search와 비교했을 때 언제 선택하면 좋은지도 배웁니다. Scikit Learn으로 Random Search를 수행하고, 결과를 시각화·해석하는 연습을 합니다.

Exercise 1: Random Search 소개 Exercise 2: 하이퍼파라미터 무작위 샘플링 Exercise 3: Random Forest로 무작위 탐색하기 Exercise 4: Random Search 시각화하기 Exercise 5: Scikit Learn에서의 Random Search Exercise 6: RandomSearchCV 입력값 Exercise 7: RandomizedSearchCV 객체 Exercise 8: Scikit Learn에서의 RandomizedSearchCV Exercise 9: Grid Search와 Random Search 비교 Exercise 10: Random Search와 Grid Search 비교 Exercise 11: Grid와 Random Search 나란히 비교

마지막 장에서는 ‘informed search’로 알려진 더 고급의 하이퍼파라미터 튜닝 기법을 맛보기로 살펴봅니다. 여기에는 Coarse To Fine 접근법과 Bayesian, Genetic 하이퍼파라미터 튜닝 알고리즘이 포함됩니다. informed search가 uninformed search와 어떻게 다른지 이해하고, 각 방법을 실습하며 비교·대조해 봅니다.

Exercise 1: 정보 탐색: 거칠게부터 정밀하게 Exercise 2: Coarse to Fine 시각화 Exercise 3: Coarse to Fine 반복 Exercise 4: 정보 기반 탐색: 베이지안 통계 Exercise 5: Python에서의 베이즈 규칙 Exercise 6: Hyperopt로 하는 Bayesian 하이퍼파라미터 튜닝 Exercise 7: 정보 기반 탐색: 유전 알고리즘 Exercise 8: TPOT로 유전 알고리즘 하이퍼파라미터 튜닝 Exercise 9: TPOT의 안정성 분석하기 Exercise 10: 축하합니다!