Comparer le rendement des modèles
La visualisation donne une bonne idée des endroits où le modèle performe bien et où il échoue. Il est toutefois utile de disposer d'une statistique qui attribue un pointage au modèle. Vous pouvez ainsi quantifier sa qualité et comparer de nombreux modèles entre eux. Une statistique courante est l'erreur quadratique moyenne (souvent abrégée « RMSE »), qui consiste à élever les résidus au carré, puis à en prendre la moyenne, puis la racine carrée. Un faible RMSE pour un jeu de données donné indique de meilleures prédictions. (Par défaut, on ne peut pas comparer entre différents jeux de données, seulement entre différents modèles sur un même jeu de données. Il est parfois possible de normaliser les jeux de données pour permettre une comparaison entre eux.)
Ici, vous comparerez les modèles gradient boosted trees et random forest.
Cette activité fait partie du cours
Introduction à Spark avec sparklyr en R
Instructions de l’exercice
both_responses, qui contient l'année prédite et l'année réelle de parution du morceau pour les deux modèles, a été prédefini comme un tibble local.
- Créez un jeu de données de somme des carrés des résidus.
- Ajoutez une colonne
residual, égale à la réponse prédite moins la réponse réelle. - Regroupez les données par
model. - Calculez une statistique sommaire,
rmse, égale à la racine carrée de la moyenne desresidualau carré.
- Ajoutez une colonne
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# both_responses has been pre-defined
both_responses
# Create a residual sum of squares dataset
___