Kom igångKom igång gratis

Jämföra RMSE och rotmedelkvadrat för relativt fel

I den här övningen visar du att logaritmtransformering av ett monetärt utfall före modellering förbättrar det genomsnittliga relativa felet (men ökar RMSE) jämfört med att modellera det monetära utfallet direkt. Du jämför resultaten från model.log i föregående övning med en modell (model.abs) som anpassas direkt mot inkomst.

Datamängderna income_train och income_test har förhandsladdats, tillsammans med din modell model.log.

Även tillgänglig:

  • model.abs: en modell som anpassar inkomst direkt mot indatavariablerna med formeln

    Income2005 ~ Arith + Word + Parag + Math + AFQT

Den här övningen är en del av kursen

Övervakad inlärning i R: Regression

Visa kurs

Övningsinstruktioner

  • Fyll i luckorna för att lägga till prediktioner från modellerna i income_test.
    • Glöm inte att ta exponenten av prediktionerna från model.log för att ångra logaritmtransformeringen!
  • Fyll i luckorna för att använda pivot_longer() på prediktionerna och beräkna residualerna och det relativa felet.
  • Fyll i luckorna för att beräkna RMSE och relativt RMSE för prediktionerna.
    • Vilken modell har större absolut fel? Vilket har större relativt fel?

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# fmla.abs is available
fmla.abs

# model.abs is available
summary(model.abs)

# Add predictions to the test set
income_test <- income_test %>%
  mutate(pred.absmodel = ___(___, income_test),        # predictions from model.abs
         pred.logmodel = ___(___(___, income_test)))   # predictions from model.log

# pivot_longer the predictions and calculate residuals and relative error
income_long <- income_test %>% 
  pivot_longer(names_to = 'modeltype', values_to = 'pred', cols=c('pred.absmodel', 'pred.logmodel')) %>%
  mutate(residual = ___,   # residuals
         relerr   = ___)   # relative error

# Calculate RMSE and relative RMSE and compare
income_long %>% 
  group_by(modeltype) %>%      # group by modeltype
  summarize(rmse     = ___,    # RMSE
            rmse.rel = ___)    # Root mean squared relative error
Redigera och kör kod