Avaliando visualmente modelos de crédito
Agora, você quer visualizar o desempenho do modelo. Em gráficos ROC, os eixos X e Y são duas métricas que você já viu: a taxa de falso positivo (fall-out) e a taxa de verdadeiro positivo (sensibilidade).
Você pode criar um gráfico ROC do desempenho com o seguinte código:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Para calcular a pontuação AUC, use roc_auc_score().
Os dados de crédito cr_loan_prep, junto com os conjuntos X_test e y_test, já foram carregados no workspace. Um modelo LogisticRegression() treinado chamado clf_logistic também foi carregado no workspace.
Este exercício faz parte do curso
Modelagem de Risco de Crédito em Python
Instruções do exercício
- Crie um conjunto de previsões de probabilidade de inadimplência e armazene em
preds. - Imprima a acurácia do modelo nos conjuntos de teste
Xey. - Use
roc_curve()nos dados de teste e nas probabilidades de inadimplência para criarfalloutesensitivity. Em seguida, crie um gráfico ROC comfalloutno eixo x. - Calcule a AUC do modelo usando os dados de teste e as probabilidades de inadimplência e armazene em
auc.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)