Calcular o desempenho com validação cruzada
É fundamental otimizar modelos usando uma métrica escolhida com cuidado, alinhada ao objetivo do modelo.
Imagine que, neste caso, você quer usar este modelo para identificar funcionários com previsão de sair da empresa. Idealmente, você quer um modelo que capture o máximo possível de funcionários prestes a sair para poder intervir. A métrica correspondente que captura isso é o recall. Por isso, você vai usar exclusivamente o recall para otimizar e selecionar seus modelos.
Este exercicio faz parte do curso
Machine Learning no tidyverse
Instruções do exercicio
- Calcule o recall comparando as respostas reais com as previstas para cada fold e atribua o resultado à coluna
validate_recall. - Imprima a coluna
validate_recall. - Imprima a média dessa coluna.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Calculate the validate recall for each cross validation fold
cv_perf_recall <- cv_prep_lr %>%
mutate(validate_recall = map2_dbl(___, ___,
~recall(actual = .x, predicted = .y)))
# Print the validate_recall column
cv_perf_recall$___
# Calculate the average of the validate_recall column
___