RF modelinin performans metrikleri
Önceki egzersizlerde rastgele orman modelin (random forest) için bir doğruluk (accuracy) skoru elde etmiştin. Bu kez biliyoruz ki, dolandırıcılık tespitinde accuracy yanıltıcı olabilir. Aşırı dengesiz (imbalanced) dolandırıcılık verilerinde, AUROC eğrisi farklı sınıflandırıcıları karşılaştırmak için daha güvenilir bir performans metriğidir. Ayrıca, classification report modelinin kesinlik (precision) ve duyarlılığını (recall) verirken, confusion matrix gerçekte kaç dolandırıcılık vakasını doğru tahmin edebildiğini gösterir. Hadi bu performans metriklerini elde edelim.
Önceki egzersizdeki aynı rastgele orman modeliyle devam edeceksin. model = RandomForestClassifier(random_state=5) olarak tanımlanan modelin eğitim verilerine zaten fit edilmiştir ve X_train, y_train, X_test, y_test hazırdır.
Bu egzersiz, kursun bir parçasıdır
Python ile Sahtekarlık Tespiti
Egzersiz talimatları
sklearn.metricsiçinden classification report, confusion matrix ve ROC skorunu içe aktar.- Eğitilmiş rastgele orman
modelinden ikili (binary) tahminleri al. predict_proba()fonksiyonunu çalıştırarak tahmin edilen olasılıkları al.y_testilepredicteddeğerlerini karşılaştırarak classification report ve confusion matrix elde et.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import the packages to get the different performance metrics
from sklearn.metrics import ____, ____, ____
# Obtain the predictions from our random forest model
predicted = model.____(X_test)
# Predict probabilities
probs = ____.____(X_test)
# Print the ROC curve, classification report and confusion matrix
print(____(y_test, probs[:,1]))
print(____(____, predicted))
print(____(____, ____))