Porovnání RMSE a střední kvadratické relativní chyby

V tomto cvičení si ukážeš, že logaritmická transformace peněžního výstupu před modelováním zlepšuje střední relativní chybu (ale zvyšuje RMSE) ve srovnání s přímým modelováním peněžního výstupu. Porovnáš výsledky modelu model.log z předchozího cvičení s modelem (model.abs), který příjem modeluje přímo.

Datasets income_train a income_test jsou předem načteny, stejně jako tvůj model model.log.

Dále máš k dispozici:

model.abs: model, který přímo přizpůsobuje příjem vstupním proměnným pomocí vzorce

Income2005 ~ Arith + Word + Parag + Math + AFQT

Toto cvičení je součástí kurzu

Supervised Learning in R: Regression

Zobrazit kurz

Pokyny k cvičení

Doplň prázdná místa tak, aby se předpovědi z modelů přidaly do income_test.
- Nezapomeň umocnit předpovědi z modelu model.log pomocí exponenciální funkce, abys zrušil/a logaritmickou transformaci!
Doplň prázdná místa pro pivot_longer() předpovědí a výpočet reziduí a relativní chyby.
Doplň prázdná místa pro výpočet RMSE a relativní RMSE předpovědí.
- Který model má větší absolutní chybu? A který větší relativní chybu?

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# fmla.abs is available
fmla.abs

# model.abs is available
summary(model.abs)

# Add predictions to the test set
income_test <- income_test %>%
  mutate(pred.absmodel = ___(___, income_test),        # predictions from model.abs
         pred.logmodel = ___(___(___, income_test)))   # predictions from model.log

# pivot_longer the predictions and calculate residuals and relative error
income_long <- income_test %>% 
  pivot_longer(names_to = 'modeltype', values_to = 'pred', cols=c('pred.absmodel', 'pred.logmodel')) %>%
  mutate(residual = ___,   # residuals
         relerr   = ___)   # relative error

# Calculate RMSE and relative RMSE and compare
income_long %>% 
  group_by(modeltype) %>%      # group by modeltype
  summarize(rmse     = ___,    # RMSE
            rmse.rel = ___)    # Root mean squared relative error

Upravit a spustit kód