High bias인가, high variance인가?

이 연습 문제에서는 이전 연습에서 학습한 회귀 트리 dt가 bias 문제인지 variance 문제인지 진단해 보겠습니다.

학습 세트 RMSE(RMSE_train)와 교차 검증 RMSE(RMSE_CV)는 작업 공간에 준비되어 있습니다. 추가로, baseline_RMSE 변수도 로드해 두었는데, 이는 disp 특성만 사용해 학습한 회귀 트리가 달성한 제곱근 평균제곱오차(RMSE)에 해당합니다(1장 3과에서 학습한 회귀 트리의 RMSE). 여기서 baseline_RMSE는 기준 RMSE로, 이 값보다 크면 모델이 과소적합(underfitting)으로 간주되고, 이 값보다 작으면 모델이 ‘충분히 좋다’고 간주합니다.

dt는 high bias 문제인가요, 아니면 high variance 문제인가요?

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

Classification and Regression Trees(CART)는 분류와 회귀 문제에 사용하는 지도 학습 모델 집합입니다. 이 장에서는 CART 알고리즘을 소개합니다.

Exercise 1: 분류를 위한 의사결정나무 Exercise 2: 첫 번째 분류 트리 훈련하기 Exercise 3: 분류 트리 평가하기 Exercise 4: 로지스틱 회귀 vs 분류 트리 Exercise 5: 분류 트리 학습 Exercise 6: 분류 트리 확장하기 Exercise 7: 기준으로 엔트로피 사용하기 Exercise 8: 엔트로피 vs 지니 지수 Exercise 9: 회귀를 위한 결정 트리 Exercise 10: 첫 회귀 트리 학습하기 Exercise 11: 회귀 트리 성능 평가하기 Exercise 12: 선형 회귀 vs 회귀 트리

편향-분산 균형은 지도 학습의 핵심 개념 중 하나입니다. 이 장에서는 과적합과 과소적합을 진단하는 방법을 이해합니다. 또한 여러 모델의 예측을 집계해 더 견고한 예측을 만드는 앙상블 개념도 소개합니다.

Exercise 1: 일반화 오류 Exercise 2: 복잡도, 바이어스, 분산 Exercise 3: 과적합과 과소적합 Exercise 4: 바이어스와 분산 문제 진단하기 Exercise 5: 모델 인스턴스화하기 Exercise 6: 10-겹 CV 오류 평가하기 Exercise 7: 훈련 오차 평가하기 Exercise 8: High bias인가, high variance인가?

현재 연습

Exercise 9: Ensemble Learning Exercise 10: 앙상블 정의하기 Exercise 11: 개별 분류기 평가하기 Exercise 12: Voting Classifier로 더 나은 성능 얻기

배깅은 학습 데이터에서 서로 다른 부분집합을 샘플링해 같은 알고리즘을 여러 번 학습하는 앙상블 기법입니다. 이 장에서는 배깅으로 트리 앙상블을 만드는 방법을 이해합니다. 또한 각 트리의 분기마다 무작위화를 도입해 앙상블의 다양성을 높이는 랜덤 포레스트 알고리즘도 학습합니다.

Exercise 1: 배깅 (Bagging)Exercise 2: 배깅 분류기 정의하기 Exercise 3: Bagging 성능 평가 Exercise 4: Out-of-Bag 평가 Exercise 5: 준비 단계 Exercise 6: OOB 점수 vs 테스트 세트 점수 Exercise 7: Random Forests (RF)Exercise 8: RF 회귀 모델 학습하기 Exercise 9: RF 회귀 모델 평가하기 Exercise 10: 특성 중요도 시각화하기

부스팅은 여러 모델을 순차적으로 학습하되, 각 모델이 이전 모델의 오류로부터 학습하는 앙상블 방법을 뜻합니다. 이 장에서는 AdaBoost와 Gradient Boosting 두 가지 부스팅 기법을 소개합니다.

Exercise 1: Adaboost Exercise 2: AdaBoost 분류기 정의하기 Exercise 3: AdaBoost 분류기 학습시키기 Exercise 4: AdaBoost 분류기 평가하기 Exercise 5: Gradient Boosting (GB)Exercise 6: GB 회귀 모델 정의하기 Exercise 7: GB 회귀 모델 학습하기 Exercise 8: GB 회귀 모델 평가하기 Exercise 9: 확률적 Gradient Boosting (SGB)Exercise 10: SGB로 회귀 수행하기 Exercise 11: SGB 회귀 모델 학습하기 Exercise 12: SGB 회귀 모델 평가하기

Machine Learning 모델의 하이퍼파라미터는 데이터로부터 학습되지 않는 매개변수로, 학습 세트에 모델을 적합하기 전에 설정해야 합니다. 이 장에서는 그리드 서치 교차 검증을 사용해 트리 기반 모델의 하이퍼파라미터를 튜닝하는 방법을 배웁니다.

Exercise 1: CART 하이퍼파라미터 튜닝 Exercise 2: 트리 하이퍼파라미터 Exercise 3: 트리의 하이퍼파라미터 그리드 설정 Exercise 4: 최적의 트리 탐색 Exercise 5: 최적 트리 평가하기 Exercise 6: RF 하이퍼파라미터 튜닝 Exercise 7: Random Forest의 하이퍼파라미터 Exercise 8: RF의 하이퍼파라미터 그리드 설정 Exercise 9: 최적의 숲 탐색하기 Exercise 10: 최적의 랜덤 포레스트 평가하기 Exercise 11: 축하합니다!