ComeçarComece de graça

Traçar uma curva ROC

Como você viu no vídeo, uma curva ROC é um atalho muito útil para resumir o desempenho de um classificador em todos os possíveis limiares. Isso evita muito trabalho repetitivo de calcular previsões de classe para vários limiares diferentes e examinar a matriz de confusão de cada um.

Meu pacote favorito para calcular curvas ROC é o caTools, que contém uma função chamada colAUC(). Essa função é bem fácil de usar e consegue calcular curvas ROC para vários preditores de uma só vez. Neste caso, você só precisa calcular a curva ROC para um preditor, por exemplo:

colAUC(predicted_probabilities, actual, plotROC = TRUE)

A função vai retornar uma métrica chamada AUC (falaremos mais sobre isso depois) e o argumento plotROC = TRUE vai exibir o gráfico da curva ROC para inspeção visual.

Este exercício faz parte do curso

Machine Learning com caret em R

Ver curso

Instruções do exercício

model, test e train do último exercício com os dados de sonar estão carregados no seu workspace.

  • Faça a previsão de probabilidades (isto é, type = "response") no conjunto de teste e armazene o resultado em p.
  • Crie uma curva ROC usando as probabilidades previstas no conjunto de teste.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Predict on test: p


# Make ROC curve
Editar e executar o código