그래디언트 부스팅 앙상블
부스팅은 순차적으로 진행하면서 이전 예측기의 오차를 다음 예측기의 입력으로 넘기는 기법이에요. Gradient Boosting은 각 단계에서 추가되는 분류 트리에 대해 로지스틱 손실(log loss)을 최소화하도록 경사 하강법을 사용합니다. 각각의 트리는 단독으로는 약한 의사결정 모델이지만, 순차적으로 결합되며 성능을 끌어올려요. 회귀의 Gradient Boosting도 유사하지만, 평균제곱오차 같은 손실 함수를 경사 하강법에 적용합니다.
이번 연습에서는 Gradient Boosting Classifier 모델을 만들어, 이전 연습에서 정확도 72.5%를 기록한 Random Forest와 성능을 비교해 보겠습니다.
loan_data DataFrame은 이미 분할되어 작업 환경에 X_train, X_test, y_train, y_test로 제공되어 있어요.
이 연습은 강의의 일부입니다
Python으로 연습하는 Machine Learning 면접 질문
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import
from sklearn.____ import ____
from sklearn.____ import ____, ____, ____, ____, ____
# Instantiate
gb_model = ____(____=____, learning_rate=___,random_state=123)