Использование энтропии в качестве критерия

В этом упражнении вы обучите дерево классификации на наборе данных Wisconsin Breast Cancer, используя энтропию в качестве критерия информативности. Для обучения применяются все 30 признаков набора данных, который разделён на 80% обучающую и 20% тестовую выборки.

X_train, а также массив меток y_train доступны в вашем рабочем пространстве.

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

Посмотреть курс

Инструкции к упражнению

Импортируйте DecisionTreeClassifier из sklearn.tree.
Создайте экземпляр DecisionTreeClassifier с именем dt_entropy и максимальной глубиной 8.
Задайте критерий информативности 'entropy'.
Обучите dt_entropy на обучающей выборке.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import DecisionTreeClassifier from sklearn.tree
from ____.____ import ____

# Instantiate dt_entropy, set 'entropy' as the information criterion
dt_entropy = ____(____=____, ____='____', random_state=1)

# Fit dt_entropy to the training set
____.____(____, ____)

Редактировать и запускать код

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Деревья решений для классификации и регрессии (CART) — это набор моделей обучения с учителем, предназначенных для задач классификации и регрессии. В этой главе вы познакомитесь с алгоритмом CART.

Exercise 1: Дерево решений для классификации Exercise 2: Обучите первое дерево классификации Exercise 3: Оценка дерева классификации Exercise 4: Логистическая регрессия vs дерево классификации Exercise 5: Обучение классификационного дерева Exercise 6: Построение дерева классификации Exercise 7: Использование энтропии в качестве критерия

Текущее упражнение

Exercise 8: Энтропия против индекса Джини Exercise 9: Дерево решений для регрессии Exercise 10: Обучите первое дерево регрессии Exercise 11: Оценка дерева регрессии Exercise 12: Линейная регрессия против регрессионного дерева

Компромисс между смещением и дисперсией — одна из фундаментальных концепций в обучении с учителем. В этой главе вы научитесь диагностировать проблемы переобучения и недообучения. Кроме того, вы познакомитесь с концепцией ансамблирования, при котором предсказания нескольких моделей объединяются для получения более устойчивых результатов.

Exercise 1: Ошибка обобщения Exercise 2: Сложность, смещение и дисперсия Exercise 3: Переобучение и недообучение Exercise 4: Диагностика проблем смещения и дисперсии Exercise 5: Создание экземпляра модели Exercise 6: Оценка ошибки при 10-кратной кросс-валидации Exercise 7: Оценка ошибки на обучающей выборке Exercise 8: Высокое смещение или высокая дисперсия?Exercise 9: Ансамблевое обучение Exercise 10: Определение ансамбля Exercise 11: Оценка отдельных классификаторов Exercise 12: Улучшение результатов с помощью голосующего классификатора

Бэггинг — это ансамблевый метод, при котором один и тот же алгоритм обучается многократно на различных подвыборках из обучающих данных. В этой главе вы узнаете, как с помощью бэггинга создать ансамбль деревьев. Вы также изучите, как алгоритм случайного леса позволяет повысить разнообразие ансамбля за счёт случайного выбора признаков при каждом разбиении дерева.

Exercise 1: Бэггинг Exercise 2: Определение классификатора бэггинга Exercise 3: Оценка качества бэггинга Exercise 4: Оценка на внебагговой выборке Exercise 5: Подготовительный этап Exercise 6: OOB-оценка против оценки на тестовой выборке Exercise 7: Случайные леса (RF)Exercise 8: Обучение регрессора на основе случайного леса Exercise 9: Оценка регрессора случайного леса Exercise 10: Визуализация важности признаков

Бустинг — это ансамблевый метод, при котором несколько моделей обучаются последовательно: каждая следующая модель учится на ошибках предыдущих. В этой главе вы познакомитесь с двумя методами бустинга: AdaBoost и градиентным бустингом.

Exercise 1: AdaBoost Exercise 2: Определение классификатора AdaBoost Exercise 3: Обучение классификатора AdaBoost Exercise 4: Оценка классификатора AdaBoost Exercise 5: Градиентный бустинг (GB)Exercise 6: Определение регрессора на основе градиентного бустинга Exercise 7: Обучение регрессора на основе градиентного бустинга Exercise 8: Оценка регрессора GB Exercise 9: Стохастический градиентный бустинг (SGB)Exercise 10: Регрессия с помощью стохастического градиентного бустинга Exercise 11: Обучение регрессора SGB Exercise 12: Оценка регрессора SGB

Гиперпараметры модели машинного обучения — это параметры, которые не извлекаются из данных. Их необходимо задавать до обучения модели на обучающей выборке. В этой главе вы научитесь настраивать гиперпараметры древовидной модели с помощью кросс-валидации на основе поиска по сетке.

Exercise 1: Настройка гиперпараметров CART Exercise 2: Гиперпараметры дерева решений Exercise 3: Задайте сетку гиперпараметров дерева Exercise 4: Поиск оптимального дерева Exercise 5: Оценка оптимального дерева Exercise 6: Настройка гиперпараметров случайного леса Exercise 7: Гиперпараметры случайного леса Exercise 8: Задайте сетку гиперпараметров случайного леса Exercise 9: Поиск оптимального леса Exercise 10: Оценка оптимального леса Exercise 11: Поздравляем!