Maak een ROC-curve
Zoals je in de video zag, is een ROC-curve een heel handig hulpmiddel om de prestaties van een classifier samen te vatten over alle mogelijke drempelwaarden. Dat bespaart je een hoop monnikenwerk: voor veel verschillende drempels klasses voorspellen en voor elk de confusion matrix bekijken.
Mijn favoriete pakket om ROC-curves te berekenen is caTools, met de functie colAUC(). Deze functie is erg gebruiksvriendelijk en kan zelfs ROC-curves voor meerdere voorspellers tegelijk berekenen. In dit geval hoef je maar de ROC-curve voor één voorspeller te berekenen, bijvoorbeeld:
colAUC(predicted_probabilities, actual, plotROC = TRUE)
De functie geeft een score terug die AUC heet (daarover later meer) en met het argument plotROC = TRUE krijg je de plot van de ROC-curve voor visuele inspectie.
Deze oefening maakt deel uit van de cursus
Machine Learning met caret in R
Oefeninstructies
model, test en train uit de vorige oefening met de sonar-gegevens zijn in je werkruimte geladen.
- Voorspel waarschijnlijkheden (dus
type = "response") op de testset en sla het resultaat op alsp. - Maak een ROC-curve met de voorspelde waarschijnlijkheden van de testset.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Predict on test: p
# Make ROC curve