준비 단계

다음 연습 문제에서는 Indian Liver Patient 데이터셋에 대해 학습한 bagging 분류기의 OOB 정확도와 테스트 세트 정확도를 비교해 보겠습니다.

sklearn에서는 인스턴스화할 때 oob_score 매개변수를 True로 설정하면 앙상블 분류기의 OOB 정확도를 평가할 수 있어요. 분류기를 학습한 뒤에는 해당 인스턴스의 .oob_score_ 속성에 접근하여 OOB 정확도를 확인합니다.

현재 환경에는 sklearn.tree의 DecisionTreeClassifier 클래스가 제공됩니다.

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

연습 안내

sklearn.ensemble에서 BaggingClassifier를 임포트하세요.
min_samples_leaf를 8로 설정한 DecisionTreeClassifier를 인스턴스화하세요.
50개의 트리로 구성되고 oob_score를 True로 설정한 BaggingClassifier를 인스턴스화하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# Import BaggingClassifier
____

# Instantiate dt
dt = ____(min_samples_leaf=____, random_state=1)

# Instantiate bc
bc = ____(base_estimator=____, 
            n_estimators=____,
            oob_score=____,
            random_state=1)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

Classification and Regression Trees(CART)는 분류와 회귀 문제에 사용하는 지도 학습 모델 집합입니다. 이 장에서는 CART 알고리즘을 소개합니다.

Exercise 1: 분류를 위한 의사결정나무 Exercise 2: 첫 번째 분류 트리 훈련하기 Exercise 3: 분류 트리 평가하기 Exercise 4: 로지스틱 회귀 vs 분류 트리 Exercise 5: 분류 트리 학습 Exercise 6: 분류 트리 확장하기 Exercise 7: 기준으로 엔트로피 사용하기 Exercise 8: 엔트로피 vs 지니 지수 Exercise 9: 회귀를 위한 결정 트리 Exercise 10: 첫 회귀 트리 학습하기 Exercise 11: 회귀 트리 성능 평가하기 Exercise 12: 선형 회귀 vs 회귀 트리

편향-분산 균형은 지도 학습의 핵심 개념 중 하나입니다. 이 장에서는 과적합과 과소적합을 진단하는 방법을 이해합니다. 또한 여러 모델의 예측을 집계해 더 견고한 예측을 만드는 앙상블 개념도 소개합니다.

Exercise 1: 일반화 오류 Exercise 2: 복잡도, 바이어스, 분산 Exercise 3: 과적합과 과소적합 Exercise 4: 바이어스와 분산 문제 진단하기 Exercise 5: 모델 인스턴스화하기 Exercise 6: 10-겹 CV 오류 평가하기 Exercise 7: 훈련 오차 평가하기 Exercise 8: High bias인가, high variance인가?Exercise 9: Ensemble Learning Exercise 10: 앙상블 정의하기 Exercise 11: 개별 분류기 평가하기 Exercise 12: Voting Classifier로 더 나은 성능 얻기

배깅은 학습 데이터에서 서로 다른 부분집합을 샘플링해 같은 알고리즘을 여러 번 학습하는 앙상블 기법입니다. 이 장에서는 배깅으로 트리 앙상블을 만드는 방법을 이해합니다. 또한 각 트리의 분기마다 무작위화를 도입해 앙상블의 다양성을 높이는 랜덤 포레스트 알고리즘도 학습합니다.

Exercise 1: 배깅 (Bagging)Exercise 2: 배깅 분류기 정의하기 Exercise 3: Bagging 성능 평가 Exercise 4: Out-of-Bag 평가 Exercise 5: 준비 단계

현재 연습

Exercise 6: OOB 점수 vs 테스트 세트 점수 Exercise 7: Random Forests (RF)Exercise 8: RF 회귀 모델 학습하기 Exercise 9: RF 회귀 모델 평가하기 Exercise 10: 특성 중요도 시각화하기

부스팅은 여러 모델을 순차적으로 학습하되, 각 모델이 이전 모델의 오류로부터 학습하는 앙상블 방법을 뜻합니다. 이 장에서는 AdaBoost와 Gradient Boosting 두 가지 부스팅 기법을 소개합니다.

Exercise 1: Adaboost Exercise 2: AdaBoost 분류기 정의하기 Exercise 3: AdaBoost 분류기 학습시키기 Exercise 4: AdaBoost 분류기 평가하기 Exercise 5: Gradient Boosting (GB)Exercise 6: GB 회귀 모델 정의하기 Exercise 7: GB 회귀 모델 학습하기 Exercise 8: GB 회귀 모델 평가하기 Exercise 9: 확률적 Gradient Boosting (SGB)Exercise 10: SGB로 회귀 수행하기 Exercise 11: SGB 회귀 모델 학습하기 Exercise 12: SGB 회귀 모델 평가하기

Machine Learning 모델의 하이퍼파라미터는 데이터로부터 학습되지 않는 매개변수로, 학습 세트에 모델을 적합하기 전에 설정해야 합니다. 이 장에서는 그리드 서치 교차 검증을 사용해 트리 기반 모델의 하이퍼파라미터를 튜닝하는 방법을 배웁니다.

Exercise 1: CART 하이퍼파라미터 튜닝 Exercise 2: 트리 하이퍼파라미터 Exercise 3: 트리의 하이퍼파라미터 그리드 설정 Exercise 4: 최적의 트리 탐색 Exercise 5: 최적 트리 평가하기 Exercise 6: RF 하이퍼파라미터 튜닝 Exercise 7: Random Forest의 하이퍼파라미터 Exercise 8: RF의 하이퍼파라미터 그리드 설정 Exercise 9: 최적의 숲 탐색하기 Exercise 10: 최적의 랜덤 포레스트 평가하기 Exercise 11: 축하합니다!