Tracer une courbe ROC
Comme vous l’avez vu dans la vidéo, une courbe ROC est un excellent moyen de résumer rapidement les performances d’un classifieur sur tous les seuils possibles. Cela vous évite de calculer laborieusement des prédictions de classes pour de nombreux seuils et d’examiner la matrice de confusion à chaque fois.
Mon package préféré pour calculer des courbes ROC est caTools, qui contient une fonction appelée colAUC(). Cette fonction est très simple d’utilisation et peut calculer des courbes ROC pour plusieurs prédicteurs à la fois. Dans notre cas, vous n’avez besoin de calculer la courbe ROC que pour un seul prédicteur, par exemple :
colAUC(predicted_probabilities, actual, plotROC = TRUE)
La fonction renverra un score appelé AUC (nous y reviendrons) et l’argument plotROC = TRUE affichera le tracé de la courbe ROC pour inspection visuelle.
Cet exercice fait partie du cours
Machine Learning avec caret en R
Instructions
model, test et train de l’exercice précédent utilisant les données sonar sont chargés dans votre environnement.
- Prédisez les probabilités (c.-à-d.
type = "response") sur l’ensemble de test, puis stockez le résultat dansp. - Créez une courbe ROC à partir des probabilités prédites sur l’ensemble de test.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Predict on test: p
# Make ROC curve