ROC로 비교하기
두 모델을 비교할 때는 ROC 차트와 AUC 점수를 사용해야 해요. 시각화는 여러분과 잠재적 비즈니스 사용자들이 고려 중인 다양한 모델 간 차이를 이해하는 데 큰 도움이 됩니다.
그래프를 염두에 두면 의사결정을 더 잘 내릴 수 있어요. 리프트(lift)는 곡선이 무작위 예측선에서 얼마나 떨어져 있는지를 의미해요. AUC는 곡선과 무작위 예측선 사이의 면적입니다. 리프트가 더 크고 AUC가 더 높은 모델이 예측을 더 정확하게 수행하는 모델이에요.
학습된 모델 clf_logistic과 clf_gbt가 작업 공간에 로드되어 있어요. 부도 확률 예측값 clf_logistic_preds와 clf_gbt_preds도 함께 로드되어 있습니다.
이 연습은 강의의 일부입니다
Python으로 배우는 신용 리스크 모델링
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()