Улучшение результатов с помощью голосующего классификатора

На завершающем шаге вы оцените качество голосующего классификатора, который использует предсказания моделей из списка classifiers и присваивает метки по принципу большинства голосов.

В вашем рабочем пространстве доступны: X_train, X_test, y_train, y_test, список classifiers, определённый в предыдущем упражнении, а также функция accuracy_score из sklearn.metrics.

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

Посмотреть курс

Инструкции к упражнению

Импортируйте VotingClassifier из sklearn.ensemble.
Создайте экземпляр VotingClassifier, задав параметр estimators равным classifiers, и присвойте результат переменной vc.
Обучите vc на обучающей выборке.
Оцените точность vc на тестовой выборке, используя предсказания y_pred.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import VotingClassifier from sklearn.ensemble
____

# Instantiate a VotingClassifier vc
vc = ____(estimators=____)     

# Fit vc to the training set
____.____(____, ____)   

# Evaluate the test set predictions
y_pred = vc.predict(X_test)

# Calculate accuracy score
accuracy = ____(____, ____)
print('Voting Classifier: {:.3f}'.format(accuracy))

Редактировать и запускать код

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Деревья решений для классификации и регрессии (CART) — это набор моделей обучения с учителем, предназначенных для задач классификации и регрессии. В этой главе вы познакомитесь с алгоритмом CART.

Exercise 1: Дерево решений для классификации Exercise 2: Обучите первое дерево классификации Exercise 3: Оценка дерева классификации Exercise 4: Логистическая регрессия vs дерево классификации Exercise 5: Обучение классификационного дерева Exercise 6: Построение дерева классификации Exercise 7: Использование энтропии в качестве критерия Exercise 8: Энтропия против индекса Джини Exercise 9: Дерево решений для регрессии Exercise 10: Обучите первое дерево регрессии Exercise 11: Оценка дерева регрессии Exercise 12: Линейная регрессия против регрессионного дерева

Компромисс между смещением и дисперсией — одна из фундаментальных концепций в обучении с учителем. В этой главе вы научитесь диагностировать проблемы переобучения и недообучения. Кроме того, вы познакомитесь с концепцией ансамблирования, при котором предсказания нескольких моделей объединяются для получения более устойчивых результатов.

Exercise 1: Ошибка обобщения Exercise 2: Сложность, смещение и дисперсия Exercise 3: Переобучение и недообучение Exercise 4: Диагностика проблем смещения и дисперсии Exercise 5: Создание экземпляра модели Exercise 6: Оценка ошибки при 10-кратной кросс-валидации Exercise 7: Оценка ошибки на обучающей выборке Exercise 8: Высокое смещение или высокая дисперсия?Exercise 9: Ансамблевое обучение Exercise 10: Определение ансамбля Exercise 11: Оценка отдельных классификаторов Exercise 12: Улучшение результатов с помощью голосующего классификатора

Текущее упражнение

Бэггинг — это ансамблевый метод, при котором один и тот же алгоритм обучается многократно на различных подвыборках из обучающих данных. В этой главе вы узнаете, как с помощью бэггинга создать ансамбль деревьев. Вы также изучите, как алгоритм случайного леса позволяет повысить разнообразие ансамбля за счёт случайного выбора признаков при каждом разбиении дерева.

Exercise 1: Бэггинг Exercise 2: Определение классификатора бэггинга Exercise 3: Оценка качества бэггинга Exercise 4: Оценка на внебагговой выборке Exercise 5: Подготовительный этап Exercise 6: OOB-оценка против оценки на тестовой выборке Exercise 7: Случайные леса (RF)Exercise 8: Обучение регрессора на основе случайного леса Exercise 9: Оценка регрессора случайного леса Exercise 10: Визуализация важности признаков

Бустинг — это ансамблевый метод, при котором несколько моделей обучаются последовательно: каждая следующая модель учится на ошибках предыдущих. В этой главе вы познакомитесь с двумя методами бустинга: AdaBoost и градиентным бустингом.

Exercise 1: AdaBoost Exercise 2: Определение классификатора AdaBoost Exercise 3: Обучение классификатора AdaBoost Exercise 4: Оценка классификатора AdaBoost Exercise 5: Градиентный бустинг (GB)Exercise 6: Определение регрессора на основе градиентного бустинга Exercise 7: Обучение регрессора на основе градиентного бустинга Exercise 8: Оценка регрессора GB Exercise 9: Стохастический градиентный бустинг (SGB)Exercise 10: Регрессия с помощью стохастического градиентного бустинга Exercise 11: Обучение регрессора SGB Exercise 12: Оценка регрессора SGB

Гиперпараметры модели машинного обучения — это параметры, которые не извлекаются из данных. Их необходимо задавать до обучения модели на обучающей выборке. В этой главе вы научитесь настраивать гиперпараметры древовидной модели с помощью кросс-валидации на основе поиска по сетке.

Exercise 1: Настройка гиперпараметров CART Exercise 2: Гиперпараметры дерева решений Exercise 3: Задайте сетку гиперпараметров дерева Exercise 4: Поиск оптимального дерева Exercise 5: Оценка оптимального дерева Exercise 6: Настройка гиперпараметров случайного леса Exercise 7: Гиперпараметры случайного леса Exercise 8: Задайте сетку гиперпараметров случайного леса Exercise 9: Поиск оптимального леса Exercise 10: Оценка оптимального леса Exercise 11: Поздравляем!