Logistic Regression modelini değerlendir
Accuracy genellikle çok güvenilir bir metrik değildir çünkü en yaygın hedef sınıf tarafından yanlı hale gelebilir.
İki başka faydalı metrik daha vardır:
- precision ve
- recall.
İlgili ifadeler için bu dersin slaytlarına göz at.
Precision, doğru olan pozitif tahminlerin oranıdır. Gecikecek olarak tahmin edilen tüm uçuşlar içinde, gerçekte kaçının geciktiği nedir?
Recall, doğru tahmin edilen pozitif sonuçların oranıdır. Geciken tüm uçuşlar içinde, model tarafından doğru tahmin edilenlerin oranı nedir?
Precision ve recall genelde pozitif hedef sınıfa göre tanımlanır. Ancak bu metriklerin her iki hedef sınıfını da dikkate alan ağırlıklı (weighted) sürümlerini de hesaplamak mümkündür.
Karmaşıklık matrisinin bileşenleri TN, TP, FN ve FP olarak ve ayrıca prediction nesnesi olarak kullanılabilir.
Bu egzersiz, kursun bir parçasıdır
PySpark ile Machine Learning
Egzersiz talimatları
- Precision ve recall değerlerini bul.
- Çok sınıflı bir değerlendirici oluştur ve ağırlıklı precision'ı değerlendir.
- İkili bir değerlendirici oluştur ve
"areaUnderROC"metriğini kullanarak AUC değerini değerlendir.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
from pyspark.ml.evaluation import MulticlassClassificationEvaluator, BinaryClassificationEvaluator
# Calculate precision and recall
precision = ____
recall = ____
print('precision = {:.2f}\nrecall = {:.2f}'.format(precision, recall))
# Find weighted precision
multi_evaluator = ____
weighted_precision = multi_evaluator.____(prediction, {multi_evaluator.metricName: "____"})
# Find AUC
binary_evaluator = ____
auc = binary_evaluator.____(____, {____})