Traçar uma curva ROC
Como você viu no vídeo, uma curva ROC é um atalho muito útil para resumir o desempenho de um classificador em todos os possíveis limiares. Isso evita muito trabalho repetitivo de calcular previsões de classe para vários limiares diferentes e examinar a matriz de confusão de cada um.
Meu pacote favorito para calcular curvas ROC é o caTools, que contém uma função chamada colAUC(). Essa função é bem fácil de usar e consegue calcular curvas ROC para vários preditores de uma só vez. Neste caso, você só precisa calcular a curva ROC para um preditor, por exemplo:
colAUC(predicted_probabilities, actual, plotROC = TRUE)
A função vai retornar uma métrica chamada AUC (falaremos mais sobre isso depois) e o argumento plotROC = TRUE vai exibir o gráfico da curva ROC para inspeção visual.
Este exercício faz parte do curso
Machine Learning com caret em R
Instruções do exercício
model, test e train do último exercício com os dados de sonar estão carregados no seu workspace.
- Faça a previsão de probabilidades (isto é,
type = "response") no conjunto de teste e armazene o resultado emp. - Crie uma curva ROC usando as probabilidades previstas no conjunto de teste.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Predict on test: p
# Make ROC curve