Матрицы ошибок: продолжение

Создать матрицу ошибок в Python несложно. Главное — разобраться с ориентацией матрицы. Это упражнение поможет вам понять, как реализована матрица ошибок в sklearn. Здесь вы использовали модель случайного леса rfc, обученную на наборе данных tic_tac_toe, чтобы предсказывать исходы: 0 (поражение) или 1 (победа) для первого игрока.

Примечание: если вы читали о матрицах ошибок на других ресурсах или применительно к другим языкам программирования, значения в матрице могут располагаться в обратном порядке.

Это упражнение является частью курса

Валидация моделей на Python

Посмотреть курс

Инструкции к упражнению

Импортируйте функцию sklearn для создания матриц ошибок.
С помощью модели rfc получите предсказания категорий на тестовой выборке X_test.
Создайте матрицу ошибок с помощью sklearn.
Выведите значение из cm, которое соответствует фактическим 1, предсказанным как 1 (истинно положительные результаты).

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

from sklearn.metrics import ____

# Create predictions
test_predictions = rfc.____(____)

# Create and print the confusion matrix
cm = ____(____, ____)
print(cm)

# Print the true positives (actual 1s that were predicted 1s)
print("The number of true positives is: {}".format(cm[____, ____]))

Редактировать и запускать код

Это упражнение является частью курса

Валидация моделей на Python

SkillTag.level.intermediateSkillTag.label

4.9+

Начать курс бесплатно

Прежде чем переходить к валидации моделей, необходимо разобраться, как их создавать и использовать. В этой главе даётся введение в построение моделей регрессии и классификации в scikit-learn. Этот фундамент мы будем использовать на протяжении всех последующих глав.

Exercise 1: Введение в валидацию моделей Exercise 2: Этапы построения модели Exercise 3: Знакомые и незнакомые данные Exercise 4: Регрессионные модели Exercise 5: Задание параметров и обучение модели Exercise 6: Важность признаков Exercise 7: Модели классификации Exercise 8: Предсказания классификации Exercise 9: Повторное использование параметров модели Exercise 10: Классификатор на основе случайного леса

Эта глава посвящена основам валидации моделей. Мы рассмотрим разбиение данных на обучающую, валидационную и тестовую выборки, а также изучим компромисс между смещением и дисперсией — всё это станет основой для методов K-Fold и Leave-One-Out, которые практикуются в третьей главе.

Exercise 1: Создание обучающей, тестовой и валидационной выборок Exercise 2: Создание одной отложенной выборки Exercise 3: Создание двух отложенных выборок Exercise 4: Зачем нужны отложенные выборки Exercise 5: Метрики точности: регрессионные модели Exercise 6: Средняя абсолютная ошибка Exercise 7: Среднеквадратичная ошибка Exercise 8: Качество модели на подвыборках данных Exercise 9: Метрики классификации Exercise 10: Матрицы ошибок Exercise 11: Матрицы ошибок: продолжение

Текущее упражнение

Exercise 12: Точность (Precision) и полнота (Recall)Exercise 13: Компромисс между смещением и дисперсией Exercise 14: Ошибка из-за недообучения и переобучения Exercise 15: Есть ли недообучение?

Отложенная выборка — хорошее начало для валидации модели. Однако одного разбиения на обучающую и тестовую выборки зачастую недостаточно. Кросс-валидация считается золотым стандартом оценки качества модели и почти всегда применяется при подборе гиперпараметров. В этой главе мы сосредоточимся на проведении кросс-валидации для оценки производительности модели.

Exercise 1: Недостатки метода отложенной выборки Exercise 2: Две выборки Exercise 3: Возможные проблемы Exercise 4: Перекрёстная проверка Exercise 5: KFold() из scikit-learn Exercise 6: Использование индексов KFold Exercise 7: Функция cross_val_score() в sklearn Exercise 8: Методы scikit-learn Exercise 9: Реализация cross_val_score()Exercise 10: Скользящий контроль с исключением одного (LOOCV)Exercise 11: Когда использовать LOOCV Exercise 12: Кросс-валидация с исключением одного наблюдения

В первых трёх главах рассматривались методы валидации моделей. В четвёртой главе мы применяем эти методы — в частности, кросс-валидацию — при изучении настройки гиперпараметров. В конечном счёте именно валидация модели делает настройку возможной и помогает выбрать наилучшую модель.

Exercise 1: Введение в настройку гиперпараметров Exercise 2: Создание гиперпараметров Exercise 3: Запуск модели с использованием диапазонов Exercise 4: RandomizedSearchCV Exercise 5: Подготовка к RandomizedSearch Exercise 6: Реализация RandomizedSearchCV Exercise 7: Выбор финальной модели Exercise 8: Наилучшая точность классификации Exercise 9: Выбор модели с наилучшей точностью Exercise 10: Курс завершён!