Krzywe kalibracji
Wiesz już, że gradient boosted tree clf_gbt osiąga najlepszą ogólną wydajność. Teraz sprawdź kalibrację obu modeli, aby ocenić, jak stabilna jest domyślna skuteczność predykcji w całym zakresie prawdopodobieństw. Możesz to zrobić, rysując wykres kalibracji dla każdego modelu za pomocą funkcji calibration_curve().
Krzywe kalibracji wymagają wielu linii kodu w Pythonie, dlatego każdy krok omówimy po kolei, dodając poszczególne elementy.
Dwa zestawy predykcji – clf_logistic_preds i clf_gbt_preds – zostały już wczytane do przestrzeni roboczej. Wczytane zostały też wyniki funkcji calibration_curve() dla każdego modelu: frac_of_pos_lr, mean_pred_val_lr, frac_of_pos_gbt oraz mean_pred_val_gbt.
To ćwiczenie jest częścią kursu
Modelowanie ryzyka kredytowego w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create the calibration curve plot with the guideline
plt.____([0, 1], [0, 1], 'k:', label=____)
plt.____('Fraction of positives')
plt.____('Average Predicted Probability')
plt.legend()
plt.title('Calibration Curve')
plt.____()