De best presterende parameter

Je hebt nu modellen gebouwd waarbij je de random-forest-specifieke hyperparameter mtry hebt gevarieerd in de hoop je model verder te verbeteren. Nu ga je de prestaties van elke mtry-waarde meten over de 5 crossvalidatiepartities om te zien of je het model kunt verbeteren.

Onthoud dat de validate MAE die je twee oefeningen geleden berekende van 0.795 hoorde bij de standaard mtry-waarde van 2.

Deze oefening maakt deel uit van de cursus

Machine Learning in de tidyverse

Cursus bekijken

Oefeninstructies

Genereer voorspellingen voor elke mtry/fold-combinatie.
Bereken de MAE voor elke mtry/fold-combinatie.
Bereken de gemiddelde MAE voor elke waarde van mtry.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Generate validate predictions for each model
cv_prep_tunerf <- cv_model_tunerf %>% 
  mutate(validate_predicted = map2(.x = ___, .y = ___, ~predict(.x, .y)$predictions))

# Calculate validate MAE for each fold and mtry combination
cv_eval_tunerf <- cv_prep_tunerf %>% 
  mutate(validate_mae = map2_dbl(.x = ___, .y = ___, ~mae(actual = .x, predicted = .y)))

# Calculate the mean validate_mae for each mtry used  
cv_eval_tunerf %>% 
  group_by(___) %>% 
  summarise(mean_mae = mean(___))

Code bewerken en uitvoeren