Nejlepší hodnota parametru
Teď máš za sebou trénování modelů, kde jsi měnil/a hyperparametr mtry specifický pro náhodný les, aby ses pokusil/a model ještě vylepšit. Teď změříš výkonnost každé hodnoty mtry napříč 5 oddíly křížové validace a zjistíš, jestli se model podařilo zlepšit.
Měj na paměti, že validační MAE, kterou jsi vypočítal/a před dvěma cvičeními, byla 0.795 – to odpovídalo výchozí hodnotě mtry rovné 2.
Toto cvičení je součástí kurzu
Machine Learning in the Tidyverse
Pokyny k cvičení
- Vygeneruj predikce pro každou kombinaci mtry/fold.
- Vypočítej MAE pro každou kombinaci mtry/fold.
- Vypočítej průměrnou MAE pro každou hodnotu
mtry.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Generate validate predictions for each model
cv_prep_tunerf <- cv_model_tunerf %>%
mutate(validate_predicted = map2(.x = ___, .y = ___, ~predict(.x, .y)$predictions))
# Calculate validate MAE for each fold and mtry combination
cv_eval_tunerf <- cv_prep_tunerf %>%
mutate(validate_mae = map2_dbl(.x = ___, .y = ___, ~mae(actual = .x, predicted = .y)))
# Calculate the mean validate_mae for each mtry used
cv_eval_tunerf %>%
group_by(___) %>%
summarise(mean_mae = mean(___))