Çapraz doğrulama
Çapraz doğrulama, bir modelin ayrılmış (holdout) performansını kontrol etmeye yarayan bir tekniktir. Test performansının, verinin nasıl bölündüğüne özgü bir durumdan kaynaklanmadığından emin olmak için yapılır. Bu egzersizde, bir karar ağacı için kesinlik (precision) ve duyarlılık (recall) metriklerini değerlendirmek amacıyla KFold() modülünü kullanarak K-katlı çapraz doğrulamayı sklearn uygulamalarıyla çalıştıracaksın.
X_train, y_train, X_test, y_test çalışma alanında hazır. pandas (pd), numpy (np) ve sklearn de hazır. sklearn.model_selection içindeki KFold() ve cross_val_score() da kullanılabilir.
Bu egzersiz, kursun bir parçasıdır
Python ile Machine Learning kullanarak TOB tahmini
Egzersiz talimatları
- Bir karar ağacı sınıflandırıcısı oluştur.
- Dört bölmeli bir K-Katlı çapraz doğrulama kur ve
k-folddeğişkenine ata. - Modelinin kesinlik ve duyarlılığını değerlendirmek için
cross_val_score()ile çapraz doğrulamayık_foldkullanarak çalıştır (verecall_score()veyaprecision_score()kullanma!).
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Create model
clf = ____
# Set up k-fold
k_fold = ____(n_splits = 4, random_state = 0, shuffle = True)
# Evaluate precision and recall for each fold
precision = ____(
clf, X_train, ____, cv = ____, scoring = 'precision_weighted')
recall = ____(
clf, X_train, ____, cv = ____, scoring = 'recall_weighted')
print("Precision scores: %s" %(precision))
print("Recall scores: %s" %(recall))