ROC křivky pro porovnání modelů logistické regrese

ROC křivky lze v R snadno vytvořit pomocí balíčku pROC. Podívejme se, jestli se ROC křivky čtyř modelů logistické regrese, které jsme v kurzu používali, výrazněji liší. Krátké shrnutí:

predictions_logit obsahuje predikce pravděpodobnosti selhání (PD) s využitím výchozího logit odkazu a proměnných age, emp_cat, ir_cat a loan_amnt.
predictions_probit obsahuje PD predikce s využitím probitu a proměnných age, emp_cat, ir_cat a loan_amnt.
predictions_cloglog obsahuje PD predikce s využitím odkazu cloglog a proměnných age, emp_cat, ir_cat a loan_amnt.
predictions_all_full obsahuje PD predikce s využitím výchozího logit odkazu a všech sedmi proměnných v datové sadě.

Nejprve vykreslíš ROC křivky všech čtyř modelů do jednoho grafu a poté se podíváš na plochu pod křivkou.

Toto cvičení je součástí kurzu

Modelování kreditního rizika v R

Zobrazit kurz

Pokyny k cvičení

Načti balíček pROC do R konzole.
Vytvoř ROC objekty pro čtyři modely logistické regrese pomocí funkce roc(response, predictor). Jako response použij indikátor stavu půjčky z test_set, který získáš přes test_set$loan_status.
Pomocí právě vytvořených objektů vykresli ROC křivky. Aby se zobrazily v jednom grafu, použij plot() pro první křivku (pro ROC_logit) a [lines()](https://www.rdocumentation.org/packages/graphics/functions/lines to add the ROC-curves) pro přidání zbývajících tří modelů do téhož grafu.
Pomocí argumentu col změň barvu křivky ROC_probit na "blue", ROC_cloglog na "red" a ROC_all_full na "green". Všimni si, že na rozdíl od toho, co bylo ukázáno ve videu, osa x je označena jako Specificity, nikoli "1-Specificity", takže osa jde zleva od hodnoty 1 doprava k hodnotě 0.
Zdá se, že volba funkce odkazu nemá na ROC velký vliv — hlavním faktorem zlepšení ROC je zahrnutí většího počtu proměnných do modelu. Pro přesné srovnání výkonu ROC křivek se podívej na hodnoty AUC pomocí funkce auc().

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Load the pROC-package


# Construct the objects containing ROC-information
ROC_logit <- roc(test_set$loan_status, predictions_logit)
ROC_probit <- 
ROC_cloglog <-
ROC_all_full <- 

# Draw all ROCs on one plot
plot(___)
lines(___, col=___)
lines(___, col=___)
lines(___, col=___)

# Compute the AUCs

Upravit a spustit kód