Creează un grid

În continuare, trebuie să creezi un grid de valori prin care să cauți hiperparametrii optimi. Submodulul pyspark.ml.tuning include o clasă numită ParamGridBuilder care face exact asta (poate începi deja să observi un tipar: PySpark are un submodul pentru aproape orice!).

Vei folosi metodele .addGrid() și .build() pentru a crea un grid pe care să îl utilizezi la validarea încrucișată. Metoda .addGrid() primește un parametru al modelului (un atribut al Estimator-ului lr, creat în unul dintre exercițiile anterioare) și o listă de valori pe care vrei să le testezi. Metoda .build() nu primește argumente — returnează pur și simplu gridul pe care îl vei folosi mai târziu.

Acest exercițiu face parte din cursul

Fundamente PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Importă submodulul pyspark.ml.tuning cu aliasul tune.
Apelează constructorul clasei ParamGridBuilder() fără argumente și salvează rezultatul ca grid.
Apelează metoda .addGrid() pe grid, cu lr.regParam ca prim argument și np.arange(0, .1, .01) ca al doilea argument. Acest al doilea argument este o funcție din modulul numpy (importat as np) care generează o listă de numere de la 0 la .1, cu un pas de .01. Suprascrie grid cu rezultatul.
Actualizează grid din nou apelând metoda .addGrid() a doua oară, pentru a crea un grid pentru lr.elasticNetParam care să conțină doar valorile [0, 1].
Apelează metoda .build() pe grid și suprascrie-l cu rezultatul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the tuning submodule
import ____ as ____

# Create the parameter grid
grid = tune.____

# Add the hyperparameter
grid = grid.addGrid(____, np.arange(0, .1, .01))
grid = grid.addGrid(____, ____)

# Build the grid
grid = grid.build()

Editează și rulează codul