Sprawdzanie overfittingu
Bardzo wysokie AUC na zbiorze treningowym, rzędu \(99,9\%\), może świadczyć o overfittingu. Możliwe jednak, że twój zbiór danych jest po prostu bardzo dobrze ustrukturyzowany albo model jest naprawdę świetny!
Aby sprawdzić, która z tych sytuacji zachodzi, trzeba wyznaczyć pozapróbkowe (out-of-sample) szacunki AUC. Ponieważ nie chcesz jeszcze korzystać ze zbioru testowego, możesz użyć walidacji krzyżowej na zbiorze treningowym.
Dane treningowe customers_train oraz specyfikacja modelu drzew baggingowych spec_bagged są nadal dostępne w twoim środowisku pracy.
To ćwiczenie jest częścią kursu
Uczenie maszynowe z modelami drzewiastymi w R
Instrukcje do ćwiczenia
- Używając funkcji
fit_resamples(), wyznacz metrykęroc_aucna podstawie trzech foldów walidacji krzyżowej zbioru treningowego oraz formuły modelustill_customer ~ total_trans_amt + customer_age + education_level. - Zbierz metryki z wyniku, aby wyświetlić wartość AUC.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
set.seed(55)
# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
___,
resamples = vfold_cv(___),
metrics = ___)
# Collect metrics
___(cv_results)