Зачем нужны отложенные выборки

Важно понимать, в каких случаях следует использовать три набора данных (обучающий, валидационный и тестовый), а не два (обучающий и тестовый). Создавать дополнительное разбиение нет смысла, если оно не будет применяться.

Когда стоит использовать обучающий, валидационный и тестовый наборы данных?

Это упражнение является частью курса

Валидация моделей на Python

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Валидация моделей на Python

SkillTag.level.intermediateSkillTag.label

4.9+

Начать курс бесплатно

Прежде чем переходить к валидации моделей, необходимо разобраться, как их создавать и использовать. В этой главе даётся введение в построение моделей регрессии и классификации в scikit-learn. Этот фундамент мы будем использовать на протяжении всех последующих глав.

Exercise 1: Введение в валидацию моделей Exercise 2: Этапы построения модели Exercise 3: Знакомые и незнакомые данные Exercise 4: Регрессионные модели Exercise 5: Задание параметров и обучение модели Exercise 6: Важность признаков Exercise 7: Модели классификации Exercise 8: Предсказания классификации Exercise 9: Повторное использование параметров модели Exercise 10: Классификатор на основе случайного леса

Эта глава посвящена основам валидации моделей. Мы рассмотрим разбиение данных на обучающую, валидационную и тестовую выборки, а также изучим компромисс между смещением и дисперсией — всё это станет основой для методов K-Fold и Leave-One-Out, которые практикуются в третьей главе.

Exercise 1: Создание обучающей, тестовой и валидационной выборок Exercise 2: Создание одной отложенной выборки Exercise 3: Создание двух отложенных выборок Exercise 4: Зачем нужны отложенные выборки

Текущее упражнение

Exercise 5: Метрики точности: регрессионные модели Exercise 6: Средняя абсолютная ошибка Exercise 7: Среднеквадратичная ошибка Exercise 8: Качество модели на подвыборках данных Exercise 9: Метрики классификации Exercise 10: Матрицы ошибок Exercise 11: Матрицы ошибок: продолжение Exercise 12: Точность (Precision) и полнота (Recall)Exercise 13: Компромисс между смещением и дисперсией Exercise 14: Ошибка из-за недообучения и переобучения Exercise 15: Есть ли недообучение?

Отложенная выборка — хорошее начало для валидации модели. Однако одного разбиения на обучающую и тестовую выборки зачастую недостаточно. Кросс-валидация считается золотым стандартом оценки качества модели и почти всегда применяется при подборе гиперпараметров. В этой главе мы сосредоточимся на проведении кросс-валидации для оценки производительности модели.

Exercise 1: Недостатки метода отложенной выборки Exercise 2: Две выборки Exercise 3: Возможные проблемы Exercise 4: Перекрёстная проверка Exercise 5: KFold() из scikit-learn Exercise 6: Использование индексов KFold Exercise 7: Функция cross_val_score() в sklearn Exercise 8: Методы scikit-learn Exercise 9: Реализация cross_val_score()Exercise 10: Скользящий контроль с исключением одного (LOOCV)Exercise 11: Когда использовать LOOCV Exercise 12: Кросс-валидация с исключением одного наблюдения

В первых трёх главах рассматривались методы валидации моделей. В четвёртой главе мы применяем эти методы — в частности, кросс-валидацию — при изучении настройки гиперпараметров. В конечном счёте именно валидация модели делает настройку возможной и помогает выбрать наилучшую модель.

Exercise 1: Введение в настройку гиперпараметров Exercise 2: Создание гиперпараметров Exercise 3: Запуск модели с использованием диапазонов Exercise 4: RandomizedSearchCV Exercise 5: Подготовка к RandomizedSearch Exercise 6: Реализация RandomizedSearchCV Exercise 7: Выбор финальной модели Exercise 8: Наилучшая точность классификации Exercise 9: Выбор модели с наилучшей точностью Exercise 10: Курс завершён!