Порівняння звітів моделей
Ви застосували моделі логістичної регресії та градієнтні бустингові дерева. Час порівняти їх, щоб визначити, яку модель використати для фінальних прогнозів.
Один із найпростіших перших кроків для порівняння здатності різних моделей передбачати ймовірність дефолту — подивитися на їхні метрики зі classification_report(). Так ви побачите різні показники якості поруч для кожної моделі. Оскільки дані та моделі зазвичай є незбалансованими з малою кількістю дефолтів, наразі зосередьтеся на метриках для дефолтів.
Навчені моделі clf_logistic та clf_gbt уже завантажені до середовища разом із їхніми прогнозами preds_df_lr і preds_df_gbt. Для кожної використано поріг 0.4. Набір тестових відповідей y_test також доступний.
Ця вправа є частиною курсу
Моделювання кредитного ризику в Python
Інструкції до вправи
- Виведіть
classification_report()для прогнозів логістичної регресії. - Виведіть
classification_report()для прогнозів градієнтного бустингового дерева. - Виведіть
macro averageметрики F-1 для логістичної регресії за допомогоюprecision_recall_fscore_support(). - Виведіть
macro averageметрики F-1 для градієнтного бустингового дерева за допомогоюprecision_recall_fscore_support().
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])