Logistic Regression मॉडल का मूल्यांकन करें
Accuracy आम तौर पर बहुत भरोसेमंद मेट्रिक नहीं है, क्योंकि सबसे सामान्य target class इसे पक्षपाती बना सकती है.
दो और उपयोगी मेट्रिक हैं:
- precision और
- recall.
संबंधित सूत्रों के लिए इस लेसन की स्लाइड्स देखें.
Precision उन positive predictions का अनुपात है जो सही हैं. जिन सभी flights के delayed होने की भविष्यवाणी की गई है, उनमें से वास्तव में कितनी delayed हैं?
Recall उन positive outcomes का अनुपात है जिनकी सही भविष्यवाणी हुई. जिन सभी flights में देरी हुई, उनमें से कितनों की मॉडल ने सही भविष्यवाणी की?
आम तौर पर precision और recall को positive target class के संदर्भ में व्यक्त किया जाता है. लेकिन इन मेट्रिक्स के weighted वर्शन भी निकालना संभव है जो दोनों target classes को देखते हैं.
Confusion matrix के components TN, TP, FN और FP के रूप में उपलब्ध हैं, साथ ही prediction ऑब्जेक्ट भी.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Machine Learning
अभ्यास निर्देश
- Precision और recall निकालें.
- Multi-class evaluator बनाएँ और weighted precision का मूल्यांकन करें.
- Binary evaluator बनाएँ और
"areaUnderROC"मेट्रिक का उपयोग करके AUC का मूल्यांकन करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})