Энтропия против индекса Джини

В этом упражнении вы сравните точность dt_entropy на тестовой выборке с точностью другого дерева — dt_gini. Дерево dt_gini было обучено на том же наборе данных с теми же параметрами, за исключением критерия информативности: для него использовался индекс Джини, заданный с помощью ключевого слова 'gini'.

В вашем рабочем пространстве доступны X_test, y_test, dt_entropy, а также accuracy_gini — точность модели dt_gini на тестовой выборке.

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

Посмотреть курс

Инструкции к упражнению

Импортируйте accuracy_score из sklearn.metrics.
Предскажите метки тестовой выборки с помощью dt_entropy и сохраните результат в переменную y_pred.
Оцените точность dt_entropy на тестовой выборке и сохраните результат в переменную accuracy_entropy.
Изучите значения accuracy_entropy и accuracy_gini.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import accuracy_score from sklearn.metrics
from ____.____ import ____

# Use dt_entropy to predict test set labels
____= ____.____(____)

# Evaluate accuracy_entropy
accuracy_entropy = ____(____, ____)

# Print accuracy_entropy
print(f'Accuracy achieved by using entropy: {accuracy_entropy:.3f}')

# Print accuracy_gini
print(f'Accuracy achieved by using the gini index: {accuracy_gini:.3f}')

Редактировать и запускать код

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Деревья решений для классификации и регрессии (CART) — это набор моделей обучения с учителем, предназначенных для задач классификации и регрессии. В этой главе вы познакомитесь с алгоритмом CART.

Exercise 1: Дерево решений для классификации Exercise 2: Обучите первое дерево классификации Exercise 3: Оценка дерева классификации Exercise 4: Логистическая регрессия vs дерево классификации Exercise 5: Обучение классификационного дерева Exercise 6: Построение дерева классификации Exercise 7: Использование энтропии в качестве критерия Exercise 8: Энтропия против индекса Джини

Текущее упражнение

Exercise 9: Дерево решений для регрессии Exercise 10: Обучите первое дерево регрессии Exercise 11: Оценка дерева регрессии Exercise 12: Линейная регрессия против регрессионного дерева

Компромисс между смещением и дисперсией — одна из фундаментальных концепций в обучении с учителем. В этой главе вы научитесь диагностировать проблемы переобучения и недообучения. Кроме того, вы познакомитесь с концепцией ансамблирования, при котором предсказания нескольких моделей объединяются для получения более устойчивых результатов.

Exercise 1: Ошибка обобщения Exercise 2: Сложность, смещение и дисперсия Exercise 3: Переобучение и недообучение Exercise 4: Диагностика проблем смещения и дисперсии Exercise 5: Создание экземпляра модели Exercise 6: Оценка ошибки при 10-кратной кросс-валидации Exercise 7: Оценка ошибки на обучающей выборке Exercise 8: Высокое смещение или высокая дисперсия?Exercise 9: Ансамблевое обучение Exercise 10: Определение ансамбля Exercise 11: Оценка отдельных классификаторов Exercise 12: Улучшение результатов с помощью голосующего классификатора

Бэггинг — это ансамблевый метод, при котором один и тот же алгоритм обучается многократно на различных подвыборках из обучающих данных. В этой главе вы узнаете, как с помощью бэггинга создать ансамбль деревьев. Вы также изучите, как алгоритм случайного леса позволяет повысить разнообразие ансамбля за счёт случайного выбора признаков при каждом разбиении дерева.

Exercise 1: Бэггинг Exercise 2: Определение классификатора бэггинга Exercise 3: Оценка качества бэггинга Exercise 4: Оценка на внебагговой выборке Exercise 5: Подготовительный этап Exercise 6: OOB-оценка против оценки на тестовой выборке Exercise 7: Случайные леса (RF)Exercise 8: Обучение регрессора на основе случайного леса Exercise 9: Оценка регрессора случайного леса Exercise 10: Визуализация важности признаков

Бустинг — это ансамблевый метод, при котором несколько моделей обучаются последовательно: каждая следующая модель учится на ошибках предыдущих. В этой главе вы познакомитесь с двумя методами бустинга: AdaBoost и градиентным бустингом.

Exercise 1: AdaBoost Exercise 2: Определение классификатора AdaBoost Exercise 3: Обучение классификатора AdaBoost Exercise 4: Оценка классификатора AdaBoost Exercise 5: Градиентный бустинг (GB)Exercise 6: Определение регрессора на основе градиентного бустинга Exercise 7: Обучение регрессора на основе градиентного бустинга Exercise 8: Оценка регрессора GB Exercise 9: Стохастический градиентный бустинг (SGB)Exercise 10: Регрессия с помощью стохастического градиентного бустинга Exercise 11: Обучение регрессора SGB Exercise 12: Оценка регрессора SGB

Гиперпараметры модели машинного обучения — это параметры, которые не извлекаются из данных. Их необходимо задавать до обучения модели на обучающей выборке. В этой главе вы научитесь настраивать гиперпараметры древовидной модели с помощью кросс-валидации на основе поиска по сетке.

Exercise 1: Настройка гиперпараметров CART Exercise 2: Гиперпараметры дерева решений Exercise 3: Задайте сетку гиперпараметров дерева Exercise 4: Поиск оптимального дерева Exercise 5: Оценка оптимального дерева Exercise 6: Настройка гиперпараметров случайного леса Exercise 7: Гиперпараметры случайного леса Exercise 8: Задайте сетку гиперпараметров случайного леса Exercise 9: Поиск оптимального леса Exercise 10: Оценка оптимального леса Exercise 11: Поздравляем!