Оцініть модель Logistic Regression
Точність класифікації (accuracy) зазвичай не дуже надійна метрика, адже її може зміщувати найпоширеніший клас цільової змінної.
Є дві інші корисні метрики:
- precision та
- recall.
Перегляньте слайди до цього уроку, щоб знайти відповідні формули.
Precision — це частка правильних серед усіх позитивних передбачень. Серед усіх рейсів, для яких модель прогнозує затримку, яка частка справді затримується?
Recall — це частка коректно передбачених серед усіх позитивних випадків. Серед усіх затриманих рейсів, яку частку модель передбачає правильно?
Зазвичай precision і recall формулюють щодо позитивного класу. Однак можна також обчислювати зважені версії цих метрик, які враховують обидва класи.
Компоненти матриці неточностей доступні як TN, TP, FN і FP, а також є об'єкт prediction.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Знайдіть precision і recall.
- Створіть оцінювач для багатокласової класифікації та обчисліть зважений precision.
- Створіть бінарний оцінювач і обчисліть AUC, використовуючи метрику
"areaUnderROC".
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})