BaşlayınÜcretsiz başlayın

Aşırı uyumu kontrol et

Örneklem içi AUC'nin %99,9 gibi çok yüksek olması aşırı uyumun bir göstergesi olabilir. Elbette veri kümen çok iyi yapılandırılmış da olabilir ya da modelin gerçekten harika çalışıyor olabilir!

Bunlardan hangisinin doğru olduğunu görmek için AUC'nin örneklem dışı tahminlerini üretmen gerekiyor. Test setine henüz dokunmak istemediğin için bunu eğitim setin üzerinde çapraz doğrulama yaparak üretebilirsin.

Çalışma alanında hâlâ customers_train eğitim verileri ve spec_bagged torbalanmış ağaç belirtimi mevcut.

Bu egzersiz, kursun bir parçasıdır

R ile Ağaç Tabanlı Modellerle Machine Learning

Kursa Göz Atın

Egzersiz talimatları

  • fit_resamples() kullanarak eğitim setinin üç KD (CV) katıyla ve model formülü still_customer ~ total_trans_amt + customer_age + education_level ile roc_auc ölçütünü tahmin et.
  • Sonucun ölçütlerini toplayıp AUC'yi göster.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

set.seed(55)

# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
                            ___, 
                            resamples = vfold_cv(___),
                            metrics = ___)

# Collect metrics
___(cv_results)
Kodu Düzenle ve Çalıştır