Modelos de crédito com pontuação visual
Agora, você deseja visualizar o desempenho do modelo. Nos gráficos ROC, os eixos X e Y são duas métricas que você já analisou: a taxa de falsos positivos (fall-out) e a taxa de verdadeiros positivos (sensibilidade).
Você pode criar um gráfico ROC de seu desempenho com o seguinte código:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Para calcular a pontuação AUC, você usa roc_auc_score().
Os dados de crédito cr_loan_prep e os conjuntos de dados X_test e y_test foram todos carregados no espaço de trabalho. Um modelo LogisticRegression() treinado chamado clf_logistic também foi carregado no espaço de trabalho.
Este exercício faz parte do curso
Modelagem de risco de crédito em Python
Instruções do exercício
- Crie um conjunto de previsões para a probabilidade de inadimplência e armazene-as em
preds. - Imprima a pontuação de precisão do modelo nos conjuntos de teste
Xey. - Use
roc_curve()nos dados de teste e nas probabilidades de padrão para criarfalloutesensitivity. Em seguida, crie um gráfico de curva ROC comfalloutno eixo x. - Calcule o AUC do modelo usando dados de teste e probabilidades de inadimplência e armazene-o em
auc.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)