ROC'larla karşılaştırma
İki modeli karşılaştırmak için ROC grafikleri ve AUC skorlarını kullanmalısın. Bazen görseller, senin ve potansiyel iş kullanıcılarının değerlendirmedeki farklı modeller arasındaki farkları anlamasına gerçekten yardımcı olabilir.
Grafiği göz önünde bulundurarak bir karar vermeye daha hazır olacaksın. Lift, eğrinin rastgele tahminden ne kadar uzakta olduğudur. AUC ise eğri ile rastgele tahmin arasındaki alandır. Daha yüksek lift ve daha yüksek AUC'ye sahip model, tahminleri daha isabetli yapan modeldir.
Eğitilmiş modeller clf_logistic ve clf_gbt çalışma alanına yüklendi. Temerrüt olasılığı tahminleri clf_logistic_preds ve clf_gbt_preds de yüklendi.
Bu egzersiz, kursun bir parçasıdır
Python ile Kredi Riski Modellemesi
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()