Zoals je in de video zag, past het glmnet-model eigenlijk veel modellen tegelijk (een van de sterke punten van dit pakket). Je kunt hiervan profiteren door een groot aantal lambda-waarden door te geven, die de mate van regularisatie in het model bepalen. train() is slim genoeg om per alpha-waarde slechts één model te fitten en alle lambda-waarden in één keer door te geven voor gelijktijdig fitten.

Mijn favoriete afstemrooster voor glmnet-modellen is:

expand.grid(
  alpha = 0:1,
  lambda = seq(0.0001, 1, length = 100)
)

Dit rooster verkent een groot aantal lambda-waarden (100 om precies te zijn), van heel klein tot vrij groot. (Je zou de maximale lambda kunnen verhogen naar 10, maar in deze oefening is 1 een goede bovengrens.)

Als je minder modellen wilt verkennen, kun je een kortere lambda-reeks gebruiken. Bijvoorbeeld, lambda = seq(0.0001, 1, length = 10) zou 10 modellen per waarde van alpha fitten.

Met dit tuneGrid bekijk je ook de twee vormen van geregulariseerde modellen: ridge-regressie en lasso-regressie. alpha = 0 is pure ridge-regressie, en alpha = 1 is pure lasso-regressie. Je kunt een mix van beide modellen fitten (oftewel een elastic net) met een alpha tussen 0 en 1. Bijvoorbeeld, alpha = 0.05 zou 95% ridge-regressie en 5% lasso-regressie zijn.

In dit probleem bekijk je alleen de 2 uitersten – pure ridge- en pure lasso-regressie – om hun verschillen te illustreren.

Random forests vs. lineaire modellen

Machine Learning met caret in R

Praktische interactieve oefening