Erreur relative

Dans cet exercice, vous allez comparer l’erreur relative à l’erreur absolue. Pour les besoins de la modélisation, nous définissons l’erreur relative comme

$$ rel = \frac{(y - pred)}{y} $$

c’est-à-dire que l’erreur est relative à la vraie valeur. Vous mesurerez l’erreur relative globale d’un modèle à l’aide de la racine de l’erreur quadratique moyenne relative :

$$ rmse_{rel} = \sqrt(\overline{rel^2}) $$

où $\overline{rel^2}$ est la moyenne de $rel^2$.

Le jeu de données d’exemple (jouet) fdata a été préchargé. Il comprend les colonnes :

y : la véritable sortie à prédire par un modèle ; imaginez qu’il s’agit du montant que dépensera un client lors d’une visite dans votre magasin.
pred : les prédictions d’un modèle qui prédit y.
label : catégorielle : indique si y provient d’une population qui fait de small achats ou de large achats.

Vous souhaitez savoir quel modèle fait « mieux » : celui qui prédit les small achats ou celui qui prédit les large achats.

Cet exercice fait partie du cours

<cours>Apprentissage supervisé en R : Régression</cours>

Voir le cours

Instructions de l’exercice

Complétez les blancs pour examiner les données. Remarquez que les gros achats sont environ 100 fois plus élevés que les petits.
Complétez les blancs pour créer les colonnes d’erreur :
- Définissez le résidu comme y - pred.
- Définissez l’erreur relative comme residual / y.
Complétez les blancs pour calculer et comparer la RMSE et la RMSE relative.
- Comment se comparent les erreurs absolues ? Et les erreurs relatives ?
Examinez le nuage de points des prédictions en fonction de la valeur réelle.
- Selon vous, quel modèle fait « mieux » ?

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# fdata is available
summary(fdata)

# Examine the data: generate the summaries for the groups large and small:
fdata %>% 
    group_by(label) %>%     # group by small/large purchases
    summarize(min  = ___,   # min of y
              mean = ___,   # mean of y
              max  = ___)   # max of y

# Fill in the blanks to add error columns
fdata2 <- fdata %>% 
         group_by(label) %>%       # group by label
           mutate(residual = ___,  # Residual
                  relerr   = ___)  # Relative error

# Compare the rmse and rmse.rel of the large and small groups:
fdata2 %>% 
  group_by(label) %>% 
  summarize(rmse     = ___,   # RMSE
            rmse.rel = ___)   # Root mean squared relative error
            
# Plot the predictions for both groups of purchases
ggplot(fdata2, aes(x = pred, y = y, color = label)) + 
  geom_point() + 
  geom_abline() + 
  facet_wrap(~ label, ncol = 1, scales = "free") + 
  ggtitle("Outcome vs prediction")

Modifier et exécuter le code