Traccia una curva ROC
Come hai visto nel video, una curva ROC è una scorciatoia molto utile per riassumere le prestazioni di un classificatore su tutte le possibili soglie. Questo ti evita parecchio lavoro noioso nel calcolare le previsioni di classe per molte soglie diverse e nell’esaminare per ognuna la matrice di confusione.
Il mio pacchetto preferito per calcolare le curve ROC è caTools, che contiene una funzione chiamata colAUC(). Questa funzione è molto semplice da usare e può persino calcolare le curve ROC per più predittori in una volta sola. In questo caso, devi solo calcolare la curva ROC per un predittore, ad esempio:
colAUC(predicted_probabilities, actual, plotROC = TRUE)
La funzione restituirà un punteggio chiamato AUC (ne parleremo tra poco) e l’argomento plotROC = TRUE mostrerà il grafico della curva ROC per un’ispezione visiva.
Questo esercizio fa parte del corso
Machine Learning con caret in R
Istruzioni dell'esercizio
model, test e train dell’ultimo esercizio con i dati sonar sono già caricati nel tuo workspace.
- Prevedi le probabilità (cioè
type = "response") sul set di test e salva il risultato comep. - Crea una curva ROC usando le probabilità previste sul set di test.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Predict on test: p
# Make ROC curve