Hitung kinerja cross-validated
Sangat penting untuk mengoptimalkan model menggunakan metrik yang dipilih dengan cermat sesuai dengan tujuan model.
Bayangkan dalam kasus ini Anda ingin menggunakan model untuk mengidentifikasi karyawan yang diprediksi akan keluar dari perusahaan. Idealnya, Anda menginginkan model yang dapat menangkap sebanyak mungkin karyawan yang siap keluar agar Anda dapat melakukan intervensi. Metrik yang mencerminkan hal ini adalah metrik recall. Karena itu, Anda akan secara eksklusif menggunakan recall untuk mengoptimalkan dan memilih model Anda.
Latihan ini adalah bagian dari kursus
Machine Learning di Tidyverse
Petunjuk latihan
- Hitung recall dengan membandingkan nilai aktual dan nilai prediksi untuk setiap fold, lalu simpan ke kolom
validate_recall. - Cetak kolom
validate_recall. - Cetak nilai rata-rata kolom tersebut.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Calculate the validate recall for each cross validation fold
cv_perf_recall <- cv_prep_lr %>%
mutate(validate_recall = map2_dbl(___, ___,
~recall(actual = .x, predicted = .y)))
# Print the validate_recall column
cv_perf_recall$___
# Calculate the average of the validate_recall column
___