Определение регрессора на основе градиентного бустинга

Вернёмся к набору данных Bike Sharing Demand, с которым вы уже работали в предыдущей главе. Напомним, что ваша задача — предсказать спрос на аренду велосипедов, используя исторические данные о погоде из программы Capital Bikeshare в Вашингтоне, округ Колумбия. Для этого вы воспользуетесь регрессором на основе градиентного бустинга.

Для начала создайте экземпляр регрессора, который вы обучите в следующем упражнении.

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

Посмотреть курс

Инструкции к упражнению

Импортируйте GradientBoostingRegressor из sklearn.ensemble.
Создайте экземпляр регрессора на основе градиентного бустинга, задав следующие параметры:
- max_depth равным 4
- n_estimators равным 200

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import GradientBoostingRegressor
____

# Instantiate gb
gb = ____(____=____, 
            ____=____,
            random_state=2)

Редактировать и запускать код

Это упражнение является частью курса

Машинное обучение на основе древовидных моделей в Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Деревья решений для классификации и регрессии (CART) — это набор моделей обучения с учителем, предназначенных для задач классификации и регрессии. В этой главе вы познакомитесь с алгоритмом CART.

Exercise 1: Дерево решений для классификации Exercise 2: Обучите первое дерево классификации Exercise 3: Оценка дерева классификации Exercise 4: Логистическая регрессия vs дерево классификации Exercise 5: Обучение классификационного дерева Exercise 6: Построение дерева классификации Exercise 7: Использование энтропии в качестве критерия Exercise 8: Энтропия против индекса Джини Exercise 9: Дерево решений для регрессии Exercise 10: Обучите первое дерево регрессии Exercise 11: Оценка дерева регрессии Exercise 12: Линейная регрессия против регрессионного дерева

Компромисс между смещением и дисперсией — одна из фундаментальных концепций в обучении с учителем. В этой главе вы научитесь диагностировать проблемы переобучения и недообучения. Кроме того, вы познакомитесь с концепцией ансамблирования, при котором предсказания нескольких моделей объединяются для получения более устойчивых результатов.

Exercise 1: Ошибка обобщения Exercise 2: Сложность, смещение и дисперсия Exercise 3: Переобучение и недообучение Exercise 4: Диагностика проблем смещения и дисперсии Exercise 5: Создание экземпляра модели Exercise 6: Оценка ошибки при 10-кратной кросс-валидации Exercise 7: Оценка ошибки на обучающей выборке Exercise 8: Высокое смещение или высокая дисперсия?Exercise 9: Ансамблевое обучение Exercise 10: Определение ансамбля Exercise 11: Оценка отдельных классификаторов Exercise 12: Улучшение результатов с помощью голосующего классификатора

Бэггинг — это ансамблевый метод, при котором один и тот же алгоритм обучается многократно на различных подвыборках из обучающих данных. В этой главе вы узнаете, как с помощью бэггинга создать ансамбль деревьев. Вы также изучите, как алгоритм случайного леса позволяет повысить разнообразие ансамбля за счёт случайного выбора признаков при каждом разбиении дерева.

Exercise 1: Бэггинг Exercise 2: Определение классификатора бэггинга Exercise 3: Оценка качества бэггинга Exercise 4: Оценка на внебагговой выборке Exercise 5: Подготовительный этап Exercise 6: OOB-оценка против оценки на тестовой выборке Exercise 7: Случайные леса (RF)Exercise 8: Обучение регрессора на основе случайного леса Exercise 9: Оценка регрессора случайного леса Exercise 10: Визуализация важности признаков

Бустинг — это ансамблевый метод, при котором несколько моделей обучаются последовательно: каждая следующая модель учится на ошибках предыдущих. В этой главе вы познакомитесь с двумя методами бустинга: AdaBoost и градиентным бустингом.

Exercise 1: AdaBoost Exercise 2: Определение классификатора AdaBoost Exercise 3: Обучение классификатора AdaBoost Exercise 4: Оценка классификатора AdaBoost Exercise 5: Градиентный бустинг (GB)Exercise 6: Определение регрессора на основе градиентного бустинга

Текущее упражнение

Exercise 7: Обучение регрессора на основе градиентного бустинга Exercise 8: Оценка регрессора GB Exercise 9: Стохастический градиентный бустинг (SGB)Exercise 10: Регрессия с помощью стохастического градиентного бустинга Exercise 11: Обучение регрессора SGB Exercise 12: Оценка регрессора SGB

Гиперпараметры модели машинного обучения — это параметры, которые не извлекаются из данных. Их необходимо задавать до обучения модели на обучающей выборке. В этой главе вы научитесь настраивать гиперпараметры древовидной модели с помощью кросс-валидации на основе поиска по сетке.

Exercise 1: Настройка гиперпараметров CART Exercise 2: Гиперпараметры дерева решений Exercise 3: Задайте сетку гиперпараметров дерева Exercise 4: Поиск оптимального дерева Exercise 5: Оценка оптимального дерева Exercise 6: Настройка гиперпараметров случайного леса Exercise 7: Гиперпараметры случайного леса Exercise 8: Задайте сетку гиперпараметров случайного леса Exercise 9: Поиск оптимального леса Exercise 10: Оценка оптимального леса Exercise 11: Поздравляем!