Modelos crediticios de puntuación visual
Ahora quieres visualizar el rendimiento del modelo. En los gráficos de ROC, los ejes X e Y son dos métricas que ya has visto: la tasa de falsos positivos (caída) y la tasa de verdaderos positivos (sensibilidad).
Puedes crear un gráfico ROC de su rendimiento con el siguiente código:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Para calcular la puntuación de AUC, utiliza roc_auc_score().
Los datos de crédito cr_loan_prep junto con los conjuntos de datos X_test y y_test se han cargado en el espacio de trabajo. También se ha cargado en el espacio de trabajo un modelo entrenado de LogisticRegression() llamado clf_logistic.
Este ejercicio forma parte del curso
Modelado del riesgo crediticio en Python
Instrucciones de ejercicio
- Crea un conjunto de predicciones para la probabilidad de impago y almacénalas en
preds. - Imprime la puntuación de precisión del modelo en los conjuntos de pruebas
Xyy. - Utiliza
roc_curve()en los datos de prueba y las probabilidades por defecto para crearfalloutysensitivity. A continuación, crea un gráfico de curvas ROC confallouten el eje x. - Calcula el AUC del modelo utilizando los datos de prueba y las probabilidades de incumplimiento y guárdalo en
auc.
Ejercicio interactivo práctico
Pruebe este ejercicio completando este código de muestra.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)