Logistic Regression मॉडल का मूल्यांकन करें
Accuracy आम तौर पर बहुत भरोसेमंद मैट्रिक नहीं होती क्योंकि यह सबसे आम टार्गेट क्लास की तरफ झुकी हो सकती है.
दो और उपयोगी मैट्रिक्स हैं:
- precision और
- recall.
संबंधित सूत्रों के लिए इस लेसन की स्लाइड्स देखें.
Precision उन पॉज़िटिव प्रेडिक्शंस का अनुपात है जो सही हैं. जिन सभी फ्लाइट्स के डिले होने की भविष्यवाणी की गई है, उनमें से वास्तव में कितनी डिले हुईं?
Recall उन पॉज़िटिव आउटकम्स का अनुपात है जिनकी सही भविष्यवाणी हुई. सभी डिली हुई फ्लाइट्स में से, मॉडल ने कितनों की सही भविष्यवाणी की?
Precision और recall आम तौर पर पॉज़िटिव टार्गेट क्लास के संदर्भ में परिभाषित किए जाते हैं. लेकिन इन मैट्रिक्स के weighted वर्ज़न निकालना भी संभव है जो दोनों टार्गेट क्लासेज़ को देखते हैं.
Confusion matrix के कंपोनेंट्स TN, TP, FN और FP के रूप में उपलब्ध हैं, साथ ही ऑब्जेक्ट prediction भी.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Machine Learning
अभ्यास निर्देश
- Precision और recall निकालें.
- एक multi-class evaluator बनाएँ और weighted precision का आकलन करें.
- एक binary evaluator बनाएँ और
"areaUnderROC"मेट्रिक का उपयोग करके AUC का आकलन करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})