엔트로피 vs 지니 지수

이 연습 문제에서는 dt_entropy의 테스트 세트 정확도를 또 다른 트리 dt_gini의 정확도와 비교해 보겠습니다. 트리 dt_gini는 동일한 데이터셋과 동일한 하이퍼파라미터로 학습했으며, 정보 기준만 키워드 'gini'를 사용해 지니 지수로 설정했습니다.

X_test, y_test, dt_entropy, 그리고 dt_gini가 달성한 테스트 세트 정확도에 해당하는 accuracy_gini가 작업 공간에 준비되어 있습니다.

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

연습 안내

sklearn.metrics에서 accuracy_score를 임포트하세요.
dt_entropy의 테스트 세트 레이블을 예측하고 결과를 y_pred에 할당하세요.
dt_entropy의 테스트 세트 정확도를 평가하고 결과를 accuracy_entropy에 할당하세요.
accuracy_entropy와 accuracy_gini를 확인하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import accuracy_score from sklearn.metrics
from ____.____ import ____

# Use dt_entropy to predict test set labels
____= ____.____(____)

# Evaluate accuracy_entropy
accuracy_entropy = ____(____, ____)

# Print accuracy_entropy
print(f'Accuracy achieved by using entropy: {accuracy_entropy:.3f}')

# Print accuracy_gini
print(f'Accuracy achieved by using the gini index: {accuracy_gini:.3f}')

코드 편집 및 실행

이 연습은 강의의 일부입니다

Python으로 배우는 트리 기반 Machine Learning

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

Classification and Regression Trees(CART)는 분류와 회귀 문제에 사용하는 지도 학습 모델 집합입니다. 이 장에서는 CART 알고리즘을 소개합니다.

Exercise 1: 분류를 위한 의사결정나무 Exercise 2: 첫 번째 분류 트리 훈련하기 Exercise 3: 분류 트리 평가하기 Exercise 4: 로지스틱 회귀 vs 분류 트리 Exercise 5: 분류 트리 학습 Exercise 6: 분류 트리 확장하기 Exercise 7: 기준으로 엔트로피 사용하기 Exercise 8: 엔트로피 vs 지니 지수

현재 연습

Exercise 9: 회귀를 위한 결정 트리 Exercise 10: 첫 회귀 트리 학습하기 Exercise 11: 회귀 트리 성능 평가하기 Exercise 12: 선형 회귀 vs 회귀 트리

편향-분산 균형은 지도 학습의 핵심 개념 중 하나입니다. 이 장에서는 과적합과 과소적합을 진단하는 방법을 이해합니다. 또한 여러 모델의 예측을 집계해 더 견고한 예측을 만드는 앙상블 개념도 소개합니다.

Exercise 1: 일반화 오류 Exercise 2: 복잡도, 바이어스, 분산 Exercise 3: 과적합과 과소적합 Exercise 4: 바이어스와 분산 문제 진단하기 Exercise 5: 모델 인스턴스화하기 Exercise 6: 10-겹 CV 오류 평가하기 Exercise 7: 훈련 오차 평가하기 Exercise 8: High bias인가, high variance인가?Exercise 9: Ensemble Learning Exercise 10: 앙상블 정의하기 Exercise 11: 개별 분류기 평가하기 Exercise 12: Voting Classifier로 더 나은 성능 얻기

배깅은 학습 데이터에서 서로 다른 부분집합을 샘플링해 같은 알고리즘을 여러 번 학습하는 앙상블 기법입니다. 이 장에서는 배깅으로 트리 앙상블을 만드는 방법을 이해합니다. 또한 각 트리의 분기마다 무작위화를 도입해 앙상블의 다양성을 높이는 랜덤 포레스트 알고리즘도 학습합니다.

Exercise 1: 배깅 (Bagging)Exercise 2: 배깅 분류기 정의하기 Exercise 3: Bagging 성능 평가 Exercise 4: Out-of-Bag 평가 Exercise 5: 준비 단계 Exercise 6: OOB 점수 vs 테스트 세트 점수 Exercise 7: Random Forests (RF)Exercise 8: RF 회귀 모델 학습하기 Exercise 9: RF 회귀 모델 평가하기 Exercise 10: 특성 중요도 시각화하기

부스팅은 여러 모델을 순차적으로 학습하되, 각 모델이 이전 모델의 오류로부터 학습하는 앙상블 방법을 뜻합니다. 이 장에서는 AdaBoost와 Gradient Boosting 두 가지 부스팅 기법을 소개합니다.

Exercise 1: Adaboost Exercise 2: AdaBoost 분류기 정의하기 Exercise 3: AdaBoost 분류기 학습시키기 Exercise 4: AdaBoost 분류기 평가하기 Exercise 5: Gradient Boosting (GB)Exercise 6: GB 회귀 모델 정의하기 Exercise 7: GB 회귀 모델 학습하기 Exercise 8: GB 회귀 모델 평가하기 Exercise 9: 확률적 Gradient Boosting (SGB)Exercise 10: SGB로 회귀 수행하기 Exercise 11: SGB 회귀 모델 학습하기 Exercise 12: SGB 회귀 모델 평가하기

Machine Learning 모델의 하이퍼파라미터는 데이터로부터 학습되지 않는 매개변수로, 학습 세트에 모델을 적합하기 전에 설정해야 합니다. 이 장에서는 그리드 서치 교차 검증을 사용해 트리 기반 모델의 하이퍼파라미터를 튜닝하는 방법을 배웁니다.

Exercise 1: CART 하이퍼파라미터 튜닝 Exercise 2: 트리 하이퍼파라미터 Exercise 3: 트리의 하이퍼파라미터 그리드 설정 Exercise 4: 최적의 트리 탐색 Exercise 5: 최적 트리 평가하기 Exercise 6: RF 하이퍼파라미터 튜닝 Exercise 7: Random Forest의 하이퍼파라미터 Exercise 8: RF의 하이퍼파라미터 그리드 설정 Exercise 9: 최적의 숲 탐색하기 Exercise 10: 최적의 랜덤 포레스트 평가하기 Exercise 11: 축하합니다!