Побудуйте ROC-криву
Як ви бачили у відео, ROC-крива — це дуже корисний спосіб підсумувати роботу класифікатора для всіх можливих порогів. Вона заощаджує багато рутинної роботи: не потрібно обчислювати передбачені класи для безлічі порогів і щоразу дивитися на матрицю похибок.
Мій улюблений пакунок для обчислення ROC-кривих — caTools, у ньому є функція colAUC(). Ця функція дуже зручна та може будувати ROC-криві одразу для кількох предикторів. У нашому випадку потрібно обчислити ROC-криву лише для одного предиктора, наприклад:
colAUC(predicted_probabilities, actual, plotROC = TRUE)
Функція поверне показник AUC (про нього поговоримо згодом), а аргумент plotROC = TRUE побудує графік ROC-кривої для візуальної перевірки.
Ця вправа є частиною курсу
Machine Learning з пакетом caret в R
Інструкції до вправи
model, test і train з попередньої вправи з даними sonar завантажені у ваш простір роботи.
- Передбачте ймовірності (тобто
type = "response") на тестовому наборі та збережіть результат уp. - Побудуйте ROC-криву, використовуючи передбачені ймовірності для тестового набору.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Predict on test: p
# Make ROC curve