Ошибка из-за недообучения и переобучения

Набор данных о конфетах легко поддаётся переобучению. В нём всего 85 наблюдений, и если выделить 20% под тестовую выборку, большая часть ценных данных окажется недоступной для обучения модели. Представьте ситуацию: большинство шоколадных конфет попало в обучающую выборку, а в отложенной их почти нет. Тогда модель может «решить», что шоколад — единственный важный фактор, и не заметить другие значимые признаки. В этом упражнении вы изучите, как использование слишком большого числа признаков (столбцов) в модели случайного леса приводит к переобучению.

Признак определяет, какие столбцы данных используются в дереве решений. Параметр max_features ограничивает количество доступных признаков.

Это упражнение является частью курса

Валидация моделей на Python

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Update the rfr model
rfr = RandomForestRegressor(____=25,
                            ____=1111,
                            ____=2)
rfr.fit(X_train, y_train)

# Print the training and testing accuracies 
print('The training error is {0:.2f}'.format(
  mae(y_train, rfr.predict(X_train))))
print('The testing error is {0:.2f}'.format(
  mae(y_test, rfr.predict(X_test))))

Редактировать и запускать код

Это упражнение является частью курса

Валидация моделей на Python

SkillTag.level.intermediateSkillTag.label

4.9+

Начать курс бесплатно

Прежде чем переходить к валидации моделей, необходимо разобраться, как их создавать и использовать. В этой главе даётся введение в построение моделей регрессии и классификации в scikit-learn. Этот фундамент мы будем использовать на протяжении всех последующих глав.

Exercise 1: Введение в валидацию моделей Exercise 2: Этапы построения модели Exercise 3: Знакомые и незнакомые данные Exercise 4: Регрессионные модели Exercise 5: Задание параметров и обучение модели Exercise 6: Важность признаков Exercise 7: Модели классификации Exercise 8: Предсказания классификации Exercise 9: Повторное использование параметров модели Exercise 10: Классификатор на основе случайного леса

Эта глава посвящена основам валидации моделей. Мы рассмотрим разбиение данных на обучающую, валидационную и тестовую выборки, а также изучим компромисс между смещением и дисперсией — всё это станет основой для методов K-Fold и Leave-One-Out, которые практикуются в третьей главе.

Exercise 1: Создание обучающей, тестовой и валидационной выборок Exercise 2: Создание одной отложенной выборки Exercise 3: Создание двух отложенных выборок Exercise 4: Зачем нужны отложенные выборки Exercise 5: Метрики точности: регрессионные модели Exercise 6: Средняя абсолютная ошибка Exercise 7: Среднеквадратичная ошибка Exercise 8: Качество модели на подвыборках данных Exercise 9: Метрики классификации Exercise 10: Матрицы ошибок Exercise 11: Матрицы ошибок: продолжение Exercise 12: Точность (Precision) и полнота (Recall)Exercise 13: Компромисс между смещением и дисперсией Exercise 14: Ошибка из-за недообучения и переобучения

Текущее упражнение

Exercise 15: Есть ли недообучение?

Отложенная выборка — хорошее начало для валидации модели. Однако одного разбиения на обучающую и тестовую выборки зачастую недостаточно. Кросс-валидация считается золотым стандартом оценки качества модели и почти всегда применяется при подборе гиперпараметров. В этой главе мы сосредоточимся на проведении кросс-валидации для оценки производительности модели.

Exercise 1: Недостатки метода отложенной выборки Exercise 2: Две выборки Exercise 3: Возможные проблемы Exercise 4: Перекрёстная проверка Exercise 5: KFold() из scikit-learn Exercise 6: Использование индексов KFold Exercise 7: Функция cross_val_score() в sklearn Exercise 8: Методы scikit-learn Exercise 9: Реализация cross_val_score()Exercise 10: Скользящий контроль с исключением одного (LOOCV)Exercise 11: Когда использовать LOOCV Exercise 12: Кросс-валидация с исключением одного наблюдения

В первых трёх главах рассматривались методы валидации моделей. В четвёртой главе мы применяем эти методы — в частности, кросс-валидацию — при изучении настройки гиперпараметров. В конечном счёте именно валидация модели делает настройку возможной и помогает выбрать наилучшую модель.

Exercise 1: Введение в настройку гиперпараметров Exercise 2: Создание гиперпараметров Exercise 3: Запуск модели с использованием диапазонов Exercise 4: RandomizedSearchCV Exercise 5: Подготовка к RandomizedSearch Exercise 6: Реализация RandomizedSearchCV Exercise 7: Выбор финальной модели Exercise 8: Наилучшая точность классификации Exercise 9: Выбор модели с наилучшей точностью Exercise 10: Курс завершён!