Așa cum ai văzut în videoclip, modelul glmnet antrenează de fapt mai multe modele simultan – unul dintre marele avantaje ale acestui pachet. Poți exploata acest lucru pasând un număr mare de valori lambda, care controlează gradul de penalizare al modelului. Funcția train() este suficient de inteligentă încât să antreneze un singur model per valoare alpha și să paseze toate valorile lambda simultan.

Gridul meu preferat de tuning pentru modelele glmnet este:

expand.grid(
  alpha = 0:1,
  lambda = seq(0.0001, 1, length = 100)
)

Acest grid explorează un număr mare de valori lambda (100, mai exact), de la una foarte mică până la una foarte mare. (Poți crește valoarea maximă a lui lambda la 10, dar în acest exercițiu 1 este o limită superioară potrivită.)

Dacă vrei să explorezi mai puține modele, poți folosi o secvență mai scurtă de lambda. De exemplu, lambda = seq(0.0001, 1, length = 10) va antrena 10 modele per valoare de alpha.

Cu acest tuneGrid vei analiza și cele două forme de modele penalizate: regresia ridge și regresia lasso. alpha = 0 corespunde regresiei ridge pure, iar alpha = 1 corespunde regresiei lasso pure. Poți antrena o combinație a celor două modele (adică un elastic net) folosind un alpha între 0 și 1. De exemplu, alpha = 0.05 ar însemna 95% regresie ridge și 5% regresie lasso.

În această problemă vei explora doar cele 2 extreme – regresia ridge pură și regresia lasso pură – pentru a ilustra diferențele dintre ele.

Păduri aleatoare vs. modele liniare

Machine Learning cu caret în R

Exercițiu interactiv practic