Curbe ROC pentru compararea modelelor de regresie logistică

Curbele ROC pot fi create cu ușurință folosind pachetul pROC în R. Să vedem dacă există diferențe semnificative între curbele ROC pentru cele patru modele de regresie logistică utilizate de-a lungul acestui curs. Câteva precizări:

predictions_logit conține predicții ale probabilității de nerambursare (PD) folosind link-ul logit implicit și variabilele age, emp_cat, ir_cat și loan_amnt.
predictions_probit conține predicții PD folosind link-ul probit și variabilele age, emp_cat, ir_cat și loan_amnt.
predictions_cloglog conține predicții PD folosind link-ul cloglog și variabilele age, emp_cat, ir_cat și loan_amnt.
predictions_all_full conține predicții PD folosind link-ul logit implicit și toate cele șapte variabile din setul de date.

Vei trasa mai întâi curbele ROC pentru aceste patru modele într-un singur grafic. Apoi, vei analiza aria de sub curbă.

Acest exercițiu face parte din cursul

Modelarea riscului de credit în R

Vezi cursul

Instrucțiuni pentru exercițiu

Încarcă pachetul pROC în consola R.
Construiește obiectele ROC pentru cele patru modele de regresie logistică folosind funcția roc(response, predictor). Reține că răspunsul (response) este indicatorul statusului creditului din test_set, accesibil prin test_set$loan_status.
Folosește obiectele create anterior pentru a trasa curbele ROC. Pentru a le afișa pe toate într-un singur grafic, folosește plot() pentru prima curbă ROC (cea pentru ROC_logit), iar pentru celelalte trei modele folosește [lines()](https://www.rdocumentation.org/packages/graphics/functions/lines to add the ROC-curves) pentru a le adăuga în același grafic.
Folosește argumentul col pentru a schimba culoarea curbei ROC_probit în "blue", a lui ROC_cloglog în "red" și a lui ROC_all_full în "green". Reține că, spre deosebire de ce s-a discutat în videoclip, eticheta axei x este Specificity și nu "1-Specificity", ceea ce înseamnă că axa merge de la 1 în stânga la 0 în dreapta.
Se pare că funcția de link nu are un impact major asupra curbei ROC, iar principalul factor care îmbunătățește ROC este includerea mai multor variabile în model. Pentru a evalua cu precizie performanța curbelor ROC, analizează valorile AUC folosind funcția auc().

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the pROC-package


# Construct the objects containing ROC-information
ROC_logit <- roc(test_set$loan_status, predictions_logit)
ROC_probit <- 
ROC_cloglog <-
ROC_all_full <- 

# Draw all ROCs on one plot
plot(___)
lines(___, col=___)
lines(___, col=___)
lines(___, col=___)

# Compute the AUCs

Editează și rulează codul