Le meilleur paramètre de performance
Vous avez maintenant construit des modèles où vous avez fait varier l'hyperparamètre propre aux forêts aléatoires, mtry, dans l'espoir d'améliorer encore votre modèle. Vous allez maintenant mesurer la performance de chaque valeur de mtry sur les 5 partitions de validation croisée pour voir si vous pouvez améliorer le modèle.
Rappelez-vous que la MAE de validation que vous avez calculée il y a deux exercices, soit 0,795, correspondait à la valeur par défaut de mtry égale à 2.
Cette activité fait partie du cours
Machine Learning dans le tidyverse
Instructions de l’exercice
- Générez des prédictions pour chaque combinaison mtry/plis.
- Calculez la MAE pour chaque combinaison mtry/plis.
- Calculez la MAE moyenne pour chaque valeur de
mtry.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Generate validate predictions for each model
cv_prep_tunerf <- cv_model_tunerf %>%
mutate(validate_predicted = map2(.x = ___, .y = ___, ~predict(.x, .y)$predictions))
# Calculate validate MAE for each fold and mtry combination
cv_eval_tunerf <- cv_prep_tunerf %>%
mutate(validate_mae = map2_dbl(.x = ___, .y = ___, ~mae(actual = .x, predicted = .y)))
# Calculate the mean validate_mae for each mtry used
cv_eval_tunerf %>%
group_by(___) %>%
summarise(mean_mae = mean(___))