Оцініть модель Logistic Regression
Accuracy зазвичай не є надійною метрикою, адже її може зміщувати найпоширеніший клас цілі.
Є ще дві корисні метрики:
- precision та
- recall.
Перегляньте слайди до цього уроку, щоб пригадати відповідні формули.
Precision — це частка коректних позитивних передбачень. Серед усіх рейсів, для яких передбачено затримку, яка частка справді затримана?
Recall — це частка позитивних випадків, які модель правильно передбачила. Серед усіх затриманих рейсів, яку частку модель віднесла до затриманих правильно?
Зазвичай precision і recall формулюють щодо позитивного класу цілі. Однак можна обчислити й зважені версії цих метрик, які враховують обидва класи цілі.
Компоненти матриці неточностей доступні як TN, TP, FN і FP, а також як об'єкт prediction.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Знайдіть precision і recall.
- Створіть багатокласовий оцінювач і обчисліть зважену precision.
- Створіть бінарний оцінювач і обчисліть AUC, використовуючи метрику
"areaUnderROC".
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})