Rita en ROC-kurva
Som du såg i videon är en ROC-kurva ett mycket användbart sätt att sammanfatta en klassificerares prestanda över alla möjliga tröskelväden. Det sparar mycket arbete jämfört med att manuellt beräkna klassprediktioner för många olika tröskelväden och sedan undersöka förvirringsmatrisen för var och en.
Ett utmärkt paket för att beräkna ROC-kurvor är caTools, som innehåller funktionen colAUC(). Funktionen är mycket lättanvänd och kan beräkna ROC-kurvor för flera prediktorer samtidigt. I det här fallet behöver du bara beräkna ROC-kurvan för en prediktor, till exempel:
colAUC(predicted_probabilities, actual, plotROC = TRUE)
Funktionen returnerar ett värde som kallas AUC (mer om det senare), och argumentet plotROC = TRUE genererar ett diagram över ROC-kurvan för visuell inspektion.
Den här övningen är en del av kursen
Maskininlärning med caret i R
Övningsinstruktioner
model, test och train från föregående övning med sonardata är inlästa i din arbetsmiljö.
- Prediktera sannolikheter (dvs.
type = "response") på testmängden och lagra resultatet somp. - Skapa en ROC-kurva med hjälp av de predikterade sannolikheterna från testmängden.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Predict on test: p
# Make ROC curve