Модель градиентного бустинга

Теперь обучим модель градиентного бустинга (GB). Говорят, что линейная модель — это как Toyota Camry, а GB — как вертолёт Black Hawk. GB способен превзойти случайные леса, но происходит это не всегда. Это явление называется теоремой об отсутствии бесплатного обеда: она напоминает нам, что для каждой задачи стоит пробовать как можно больше разных моделей.

GB похож на модели случайного леса, однако ключевое отличие в том, что деревья строятся последовательно. На каждой итерации следующее дерево подгоняется к остаточным ошибкам предыдущего — это позволяет постепенно улучшать качество модели.

Пока что мы не будем подбирать гиперпараметры вручную — они уже подобраны для вас.

Это упражнение является частью курса

Машинное обучение для финансов на Python

Посмотреть курс

Инструкции к упражнению

Создайте объект GradientBoostingRegressor с гиперпараметрами, которые уже заданы для вас.
Обучите модель gbr на данных train_features и train_targets.
Выведите оценки для обучающей и тестовой выборок.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

from sklearn.ensemble import GradientBoostingRegressor

# Create GB model -- hyperparameters have already been searched for you
gbr = ____(max_features=4,
                                learning_rate=0.01,
                                n_estimators=200,
                                subsample=0.6,
                                random_state=42)
gbr.fit(____)

print(gbr.score(train_features, train_targets))
____

Редактировать и запускать код