모델 인스턴스화하기

다음 연습 문제 세트에서는 회귀 트리의 편향과 분산 문제를 진단해 보겠습니다. 이번 연습에서 정의할 회귀 트리는 auto 데이터셋의 사용 가능한 모든 특징을 사용해 자동차의 mpg 소비를 예측합니다.

데이터 전처리는 이미 완료되었고, 작업 공간에 특징 행렬 X와 배열 y가 로드되어 있습니다. 또한 sklearn.tree에서 DecisionTreeRegressor 클래스가 임포트되어 있습니다.

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

연습 안내

sklearn.model_selection에서 train_test_split을 임포트하세요.
데이터를 학습 70%, 테스트 30%로 분할하세요.
최대 깊이를 4로 하고 min_samples_leaf를 0.26으로 설정한 DecisionTreeRegressor를 인스턴스화하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import train_test_split from sklearn.model_selection
____

# Set SEED for reproducibility
SEED = 1

# Split the data into 70% train and 30% test
X_train, X_test, y_train, y_test = ____(____, ____, test_size=____, random_state=SEED)

# Instantiate a DecisionTreeRegressor dt
dt = ____(____=____, ____=____, random_state=SEED)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

Classification and Regression Trees(CART)는 분류와 회귀 문제에 사용하는 지도 학습 모델 집합입니다. 이 장에서는 CART 알고리즘을 소개합니다.

Exercise 1: 분류를 위한 의사결정나무 Exercise 2: 첫 번째 분류 트리 훈련하기 Exercise 3: 분류 트리 평가하기 Exercise 4: 로지스틱 회귀 vs 분류 트리 Exercise 5: 분류 트리 학습 Exercise 6: 분류 트리 확장하기 Exercise 7: 기준으로 엔트로피 사용하기 Exercise 8: 엔트로피 vs 지니 지수 Exercise 9: 회귀를 위한 결정 트리 Exercise 10: 첫 회귀 트리 학습하기 Exercise 11: 회귀 트리 성능 평가하기 Exercise 12: 선형 회귀 vs 회귀 트리

편향-분산 균형은 지도 학습의 핵심 개념 중 하나입니다. 이 장에서는 과적합과 과소적합을 진단하는 방법을 이해합니다. 또한 여러 모델의 예측을 집계해 더 견고한 예측을 만드는 앙상블 개념도 소개합니다.

Exercise 1: 일반화 오류 Exercise 2: 복잡도, 바이어스, 분산 Exercise 3: 과적합과 과소적합 Exercise 4: 바이어스와 분산 문제 진단하기 Exercise 5: 모델 인스턴스화하기

현재 연습

Exercise 6: 10-겹 CV 오류 평가하기 Exercise 7: 훈련 오차 평가하기 Exercise 8: High bias인가, high variance인가?Exercise 9: Ensemble Learning Exercise 10: 앙상블 정의하기 Exercise 11: 개별 분류기 평가하기 Exercise 12: Voting Classifier로 더 나은 성능 얻기

배깅은 학습 데이터에서 서로 다른 부분집합을 샘플링해 같은 알고리즘을 여러 번 학습하는 앙상블 기법입니다. 이 장에서는 배깅으로 트리 앙상블을 만드는 방법을 이해합니다. 또한 각 트리의 분기마다 무작위화를 도입해 앙상블의 다양성을 높이는 랜덤 포레스트 알고리즘도 학습합니다.

Exercise 1: 배깅 (Bagging)Exercise 2: 배깅 분류기 정의하기 Exercise 3: Bagging 성능 평가 Exercise 4: Out-of-Bag 평가 Exercise 5: 준비 단계 Exercise 6: OOB 점수 vs 테스트 세트 점수 Exercise 7: Random Forests (RF)Exercise 8: RF 회귀 모델 학습하기 Exercise 9: RF 회귀 모델 평가하기 Exercise 10: 특성 중요도 시각화하기

부스팅은 여러 모델을 순차적으로 학습하되, 각 모델이 이전 모델의 오류로부터 학습하는 앙상블 방법을 뜻합니다. 이 장에서는 AdaBoost와 Gradient Boosting 두 가지 부스팅 기법을 소개합니다.

Exercise 1: Adaboost Exercise 2: AdaBoost 분류기 정의하기 Exercise 3: AdaBoost 분류기 학습시키기 Exercise 4: AdaBoost 분류기 평가하기 Exercise 5: Gradient Boosting (GB)Exercise 6: GB 회귀 모델 정의하기 Exercise 7: GB 회귀 모델 학습하기 Exercise 8: GB 회귀 모델 평가하기 Exercise 9: 확률적 Gradient Boosting (SGB)Exercise 10: SGB로 회귀 수행하기 Exercise 11: SGB 회귀 모델 학습하기 Exercise 12: SGB 회귀 모델 평가하기

Machine Learning 모델의 하이퍼파라미터는 데이터로부터 학습되지 않는 매개변수로, 학습 세트에 모델을 적합하기 전에 설정해야 합니다. 이 장에서는 그리드 서치 교차 검증을 사용해 트리 기반 모델의 하이퍼파라미터를 튜닝하는 방법을 배웁니다.

Exercise 1: CART 하이퍼파라미터 튜닝 Exercise 2: 트리 하이퍼파라미터 Exercise 3: 트리의 하이퍼파라미터 그리드 설정 Exercise 4: 최적의 트리 탐색 Exercise 5: 최적 트리 평가하기 Exercise 6: RF 하이퍼파라미터 튜닝 Exercise 7: Random Forest의 하이퍼파라미터 Exercise 8: RF의 하이퍼파라미터 그리드 설정 Exercise 9: 최적의 숲 탐색하기 Exercise 10: 최적의 랜덤 포레스트 평가하기 Exercise 11: 축하합니다!