Random Forest의 파라미터 추출하기

이제 이전에 로지스틱 회귀 모델로 진행했던 작업을 Random Forest 모델로 옮겨 보겠습니다. 이 모델의 파라미터 중 하나는 각 트리에서 매 단계마다 어떤 기준으로 분할했는지입니다.

Random Forest 모델에서는 모든 분할과 모든 트리를 일일이 탐색할 가능성이 낮기 때문에, 이 분석이 로지스틱 회귀의 계수만큼 직접적이진 않을 수 있어요. 하지만 모델이 내부에서 무엇을 하는지 들여다보는 데에는 매우 유용한 연습입니다.

이번 연습에서는 Random Forest 모델에서 하나의 트리를 추출하고, 이를 시각화한 뒤, 프로그램적으로 분할 중 하나를 추출해 보겠습니다.

다음이 제공됩니다:

Random Forest 모델 객체 rf_clf
선택된 결정 트리 상단 이미지 tree_viz_image
X_train DataFrame과 original_variables 리스트

이 연습은 강의의 일부입니다

Python에서의 하이퍼파라미터 튜닝

연습 안내

Random Forest 모델에서 7번째 트리(인덱스 6)를 추출하세요.
분할 기준을 확인하기 위해 이 트리를 시각화합니다(tree_viz_image).
최상단 분할의 특성과 임곗값을 추출하세요.
특성과 임곗값을 함께 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Extract the 7th (index 6) tree from the random forest
chosen_tree = rf_clf.estimators_[____]

# Visualize the graph using the provided image
imgplot = plt.imshow(____)
plt.show()

# Extract the parameters and level of the top (index 0) node
split_column = chosen_tree.tree_.feature[____]
split_column_name = X_train.columns[split_column]
split_value = chosen_tree.tree_.threshold[____]

# Print out the feature and level
print("This node split on feature {}, at a value of {}".format(split_column_name, ____))

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python에서의 하이퍼파라미터 튜닝

SkillTag.level.intermediateSkillTag.label

4.9+

무료로 강의 시작하기

이 도입 장에서는 하이퍼파라미터와 파라미터의 차이를 학습합니다. 여러 인기 있는 Machine Learning 알고리즘을 대상으로 파라미터를 추출·분석하고, 하이퍼파라미터 값을 설정하는 연습을 해보세요. 또한 어떤 하이퍼파라미터를 튜닝할지, 어떤 값으로 설정할지에 대한 모범 사례 팁과 요령을 익히고, 학습 곡선을 만들어 하이퍼파라미터 선택을 분석하는 방법도 배웁니다.

Exercise 1: 소개 & '파라미터'Exercise 2: Logistic Regression의 매개변수(Parameters)Exercise 3: Logistic Regression 파라미터 추출하기 Exercise 4: Random Forest의 파라미터 추출하기

현재 연습

Exercise 5: 하이퍼파라미터 소개 Exercise 6: Random Forest의 하이퍼파라미터 Exercise 7: Random Forest 하이퍼파라미터 탐색 Exercise 8: KNN의 하이퍼파라미터 Exercise 9: 하이퍼파라미터 값 설정과 분석 Exercise 10: 하이퍼파라미터 선택 자동화 Exercise 11: 러닝 커브 만들기

이번 장에서는 Grid Search라 불리는 널리 쓰이는 자동 하이퍼파라미터 튜닝 방법을 소개합니다. Grid Search가 무엇이고 어떻게 동작하는지 배우고, Scikit Learn으로 직접 Grid Search를 수행해 봅니다. 이어서 Grid Search 결과를 해석하는 방법을 익히고, 이를 실습으로 체득합니다.

Exercise 1: Grid Search 소개 Exercise 2: Grid Search 함수 만들기 Exercise 3: 여러 하이퍼파라미터를 반복적으로 튜닝하기 Exercise 4: 모델은 몇 개인가요?Exercise 5: Scikit Learn으로 하는 Grid Search Exercise 6: GridSearchCV 입력 Exercise 7: Scikit Learn에서의 GridSearchCV Exercise 8: Grid search 결과 이해하기 Exercise 9: 최적 결과 활용하기 Exercise 10: Grid search 결과 살펴보기 Exercise 11: 최고 결과 분석하기 Exercise 12: 최적 결과 활용하기

이 장에서는 또 다른 대표적인 자동 하이퍼파라미터 튜닝 방법인 Random Search를 소개합니다. 무엇인지, 어떻게 작동하는지, 그리고 Grid Search와 어떻게 다른지가 핵심입니다. 이 방법의 장단점과 Grid Search와 비교했을 때 언제 선택하면 좋은지도 배웁니다. Scikit Learn으로 Random Search를 수행하고, 결과를 시각화·해석하는 연습을 합니다.

Exercise 1: Random Search 소개 Exercise 2: 하이퍼파라미터 무작위 샘플링 Exercise 3: Random Forest로 무작위 탐색하기 Exercise 4: Random Search 시각화하기 Exercise 5: Scikit Learn에서의 Random Search Exercise 6: RandomSearchCV 입력값 Exercise 7: RandomizedSearchCV 객체 Exercise 8: Scikit Learn에서의 RandomizedSearchCV Exercise 9: Grid Search와 Random Search 비교 Exercise 10: Random Search와 Grid Search 비교 Exercise 11: Grid와 Random Search 나란히 비교

마지막 장에서는 ‘informed search’로 알려진 더 고급의 하이퍼파라미터 튜닝 기법을 맛보기로 살펴봅니다. 여기에는 Coarse To Fine 접근법과 Bayesian, Genetic 하이퍼파라미터 튜닝 알고리즘이 포함됩니다. informed search가 uninformed search와 어떻게 다른지 이해하고, 각 방법을 실습하며 비교·대조해 봅니다.

Exercise 1: 정보 탐색: 거칠게부터 정밀하게 Exercise 2: Coarse to Fine 시각화 Exercise 3: Coarse to Fine 반복 Exercise 4: 정보 기반 탐색: 베이지안 통계 Exercise 5: Python에서의 베이즈 규칙 Exercise 6: Hyperopt로 하는 Bayesian 하이퍼파라미터 튜닝 Exercise 7: 정보 기반 탐색: 유전 알고리즘 Exercise 8: TPOT로 유전 알고리즘 하이퍼파라미터 튜닝 Exercise 9: TPOT의 안정성 분석하기 Exercise 10: 축하합니다!