Tracer une courbe ROC
Comme vous l'avez vu dans la vidéo, une courbe ROC est un excellent raccourci pour résumer la performance d'un classificateur pour tous les seuils possibles. Cela vous évite de calculer laborieusement des prédictions de classe pour de nombreux seuils et d'examiner la matrice de confusion pour chacun.
Mon package préféré pour calculer des courbes ROC est caTools, qui contient une fonction appelée colAUC(). Cette fonction est très conviviale et peut même calculer des courbes ROC pour plusieurs prédicteurs à la fois. Dans notre cas, vous n'avez besoin que de la courbe ROC pour un seul prédicteur, par exemple :
colAUC(predicted_probabilities, actual, plotROC = TRUE)
La fonction renverra une mesure appelée AUC (nous y reviendrons) et l'argument plotROC = TRUE affichera le tracé de la courbe ROC pour inspection visuelle.
Cette activité fait partie du cours
Machine Learning avec caret en R
Instructions de l’exercice
model, test et train de l'exercice précédent utilisant les données sonar sont chargés dans votre espace de travail.
- Prédisez les probabilités (c.-à-d.
type = "response") sur l'ensemble de test, puis enregistrez le résultat dansp. - Générez une courbe ROC à partir des probabilités prédites sur l'ensemble de test.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Predict on test: p
# Make ROC curve