Возможные проблемы

Какие из приведённых утверждений ВЕРНЫ в отношении возможных проблем с отложенными выборками:

A: Использование разных методов разбиения данных может приводить к различному составу итоговых отложенных выборок.
B: Если данных мало, точность на отложенной выборке может вводить в заблуждение.
C: Проблем нет. Единственный способ проверить модель — создать одну обучающую и одну тестовую выборку.
D: Не следует использовать отложенные выборки при ограниченном объёме данных, так как это сокращает потенциальный объём обучающих данных.

Это упражнение является частью курса

Валидация моделей на Python

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Валидация моделей на Python

SkillTag.level.intermediateSkillTag.label

4.9+

Начать курс бесплатно

Прежде чем переходить к валидации моделей, необходимо разобраться, как их создавать и использовать. В этой главе даётся введение в построение моделей регрессии и классификации в scikit-learn. Этот фундамент мы будем использовать на протяжении всех последующих глав.

Exercise 1: Введение в валидацию моделей Exercise 2: Этапы построения модели Exercise 3: Знакомые и незнакомые данные Exercise 4: Регрессионные модели Exercise 5: Задание параметров и обучение модели Exercise 6: Важность признаков Exercise 7: Модели классификации Exercise 8: Предсказания классификации Exercise 9: Повторное использование параметров модели Exercise 10: Классификатор на основе случайного леса

Эта глава посвящена основам валидации моделей. Мы рассмотрим разбиение данных на обучающую, валидационную и тестовую выборки, а также изучим компромисс между смещением и дисперсией — всё это станет основой для методов K-Fold и Leave-One-Out, которые практикуются в третьей главе.

Exercise 1: Создание обучающей, тестовой и валидационной выборок Exercise 2: Создание одной отложенной выборки Exercise 3: Создание двух отложенных выборок Exercise 4: Зачем нужны отложенные выборки Exercise 5: Метрики точности: регрессионные модели Exercise 6: Средняя абсолютная ошибка Exercise 7: Среднеквадратичная ошибка Exercise 8: Качество модели на подвыборках данных Exercise 9: Метрики классификации Exercise 10: Матрицы ошибок Exercise 11: Матрицы ошибок: продолжение Exercise 12: Точность (Precision) и полнота (Recall)Exercise 13: Компромисс между смещением и дисперсией Exercise 14: Ошибка из-за недообучения и переобучения Exercise 15: Есть ли недообучение?

Отложенная выборка — хорошее начало для валидации модели. Однако одного разбиения на обучающую и тестовую выборки зачастую недостаточно. Кросс-валидация считается золотым стандартом оценки качества модели и почти всегда применяется при подборе гиперпараметров. В этой главе мы сосредоточимся на проведении кросс-валидации для оценки производительности модели.

Exercise 1: Недостатки метода отложенной выборки Exercise 2: Две выборки Exercise 3: Возможные проблемы

Текущее упражнение

Exercise 4: Перекрёстная проверка Exercise 5: KFold() из scikit-learn Exercise 6: Использование индексов KFold Exercise 7: Функция cross_val_score() в sklearn Exercise 8: Методы scikit-learn Exercise 9: Реализация cross_val_score()Exercise 10: Скользящий контроль с исключением одного (LOOCV)Exercise 11: Когда использовать LOOCV Exercise 12: Кросс-валидация с исключением одного наблюдения

В первых трёх главах рассматривались методы валидации моделей. В четвёртой главе мы применяем эти методы — в частности, кросс-валидацию — при изучении настройки гиперпараметров. В конечном счёте именно валидация модели делает настройку возможной и помогает выбрать наилучшую модель.

Exercise 1: Введение в настройку гиперпараметров Exercise 2: Создание гиперпараметров Exercise 3: Запуск модели с использованием диапазонов Exercise 4: RandomizedSearchCV Exercise 5: Подготовка к RandomizedSearch Exercise 6: Реализация RandomizedSearchCV Exercise 7: Выбор финальной модели Exercise 8: Наилучшая точность классификации Exercise 9: Выбор модели с наилучшей точностью Exercise 10: Курс завершён!