Đánh giá mô hình Logistic Regression
Accuracy thường không phải là một metric đáng tin cậy vì có thể bị lệch do lớp mục tiêu phổ biến nhất.
Có hai metric hữu ích khác:
- precision và
- recall.
Xem lại các slide của bài học này để lấy công thức liên quan.
Precision là tỷ lệ dự đoán dương tính mà đúng. Trong tất cả các chuyến bay được dự đoán bị trễ, tỷ lệ nào thực sự bị trễ?
Recall là tỷ lệ kết quả dương tính được dự đoán đúng. Trong tất cả các chuyến bay bị trễ, mô hình dự đoán đúng được bao nhiêu?
Precision và recall thường được diễn đạt theo lớp mục tiêu dương tính. Nhưng cũng có thể tính các phiên bản có trọng số của các metric này, xét cả hai lớp mục tiêu.
Các thành phần của ma trận nhầm lẫn có sẵn dưới dạng TN, TP, FN và FP, cũng như đối tượng prediction.
Bài tập này là một phần của khóa học
Machine Learning với PySpark
Hướng dẫn bài tập
- Tính precision và recall.
- Tạo một evaluator đa lớp và đánh giá weighted precision.
- Tạo một evaluator nhị phân và đánh giá AUC dùng metric
"areaUnderROC".
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})