Visuell utvärdering av kreditmodeller

Nu ska du visualisera modellens prestanda. I ROC-diagram motsvarar x- och y-axeln två mätvärden du redan känner till: den falska positivkvoten (fall-out) och den sanna positivkvoten (känslighet).

Du kan skapa ett ROC-diagram över prestandan med följande kod:

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)

För att beräkna AUC-värdet använder du roc_auc_score().

Kreditdatan cr_loan_prep tillsammans med datamängderna X_test och y_test har laddats in i arbetsytan. En tränad LogisticRegression()-modell med namnet clf_logistic har också laddats in i arbetsytan.

Den här övningen är en del av kursen

Kreditriskmodellering i Python

Visa kurs

Övningsinstruktioner

Skapa en uppsättning sannolikhetsprediktioner för fallissemang och lagra dem i preds.
Skriv ut modellens noggrannhetspoäng på X- och y-testsetten.
Använd roc_curve() på testdata och sannolikheterna för fallissemang för att skapa fallout och sensitivity. Skapa sedan ett ROC-diagram med fallout på x-axeln.
Beräkna modellens AUC med testdata och sannolikheterna för fallissemang och lagra värdet i auc.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create predictions and store them in a variable
____ = clf_logistic.____(____)

# Print the accuracy score the model
print(clf_logistic.____(____, ____))

# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()

# Compute the AUC and store it in a variable
____ = ____(____, ____)

Redigera och kör kod