1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Modelování kreditního rizika v R
Connected

cvičení

ROC křivky pro porovnání modelů logistické regrese

ROC křivky lze v R snadno vytvořit pomocí balíčku pROC. Podívejme se, jestli se ROC křivky čtyř modelů logistické regrese, které jsme v kurzu používali, výrazněji liší. Krátké shrnutí:

  • predictions_logit obsahuje predikce pravděpodobnosti selhání (PD) s využitím výchozího logit odkazu a proměnných age, emp_cat, ir_cat a loan_amnt.
  • predictions_probit obsahuje PD predikce s využitím probitu a proměnných age, emp_cat, ir_cat a loan_amnt.
  • predictions_cloglog obsahuje PD predikce s využitím odkazu cloglog a proměnných age, emp_cat, ir_cat a loan_amnt.
  • predictions_all_full obsahuje PD predikce s využitím výchozího logit odkazu a všech sedmi proměnných v datové sadě.

Nejprve vykreslíš ROC křivky všech čtyř modelů do jednoho grafu a poté se podíváš na plochu pod křivkou.

Pokyny

100 XP
  • Načti balíček pROC do R konzole.
  • Vytvoř ROC objekty pro čtyři modely logistické regrese pomocí funkce roc(response, predictor). Jako response použij indikátor stavu půjčky z test_set, který získáš přes test_set$loan_status.
  • Pomocí právě vytvořených objektů vykresli ROC křivky. Aby se zobrazily v jednom grafu, použij plot() pro první křivku (pro ROC_logit) a [lines()](https://www.rdocumentation.org/packages/graphics/functions/lines to add the ROC-curves) pro přidání zbývajících tří modelů do téhož grafu.
  • Pomocí argumentu col změň barvu křivky ROC_probit na "blue", ROC_cloglog na "red" a ROC_all_full na "green". Všimni si, že na rozdíl od toho, co bylo ukázáno ve videu, osa x je označena jako Specificity, nikoli "1-Specificity", takže osa jde zleva od hodnoty 1 doprava k hodnotě 0.
  • Zdá se, že volba funkce odkazu nemá na ROC velký vliv — hlavním faktorem zlepšení ROC je zahrnutí většího počtu proměnných do modelu. Pro přesné srovnání výkonu ROC křivek se podívej na hodnoty AUC pomocí funkce auc().