Performance hors échantillon
La performance en apprentissage (in-sample) indique dans quelle mesure un modèle capture les données qu’il modélise. Pour les modèles prédictifs, il est également essentiel d’évaluer la performance sur de nouvelles données, jamais vues, c’est-à-dire la performance hors échantillon.
Dans cet exercice, vous allez examiner les prédictions sur l’ensemble de test de votre modèle à l’aide de la MAE (erreur absolue moyenne).
Le model que vous avez construit et utilisé dans les exercices précédents est à nouveau préchargé dans votre espace de travail.
Cet exercice fait partie du cours
Machine Learning avec des modèles à base d’arbres en R
Instructions
- Utilisez
modelpour prédirefinal_gradehors échantillon et ajoutez vos prédictions àchocolate_testavecbind_cols(). - Calculez l’erreur absolue moyenne à l’aide d’une fonction de
yardstick.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Predict ratings on test set and add true grades
test_enriched <- predict(__, new_data = ___) %>%
bind_cols(___)
# Compute the mean absolute error using one single function
___(___,
___,
___)