Linear regression voor vluchten optimaliseren

Tot nu toe heb je bij het bouwen van je modellen de standaard hyperparameters gebruikt. In deze oefening gebruik je cross-validatie om een optimale (of bijna optimale) set hyperparameters voor je model te kiezen.

De volgende objecten zijn al gemaakt:

regression — een LinearRegression-object
pipeline — een pipeline met string indexer, one-hot encoder, vector assembler en linear regression, en
evaluator — een RegressionEvaluator-object.

Deze oefening maakt deel uit van de cursus

Machine Learning met PySpark

Cursus bekijken

Oefeninstructies

Maak een parameter grid builder.
Voeg grids toe voor regression.regParam (waarden 0.01, 0.1, 1.0 en 10.0) en regression.elasticNetParam (waarden 0.0, 0.5 en 1.0).
Bouw het grid.
Maak een cross-validator met vijf folds.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Create parameter grid
params = ____()

# Add grids for two parameters
params = params.____(____, ____) \
               .____(____, ____)

# Build the parameter grid
params = params.____()
print('Number of models to be tested: ', len(params))

# Create cross-validator
cv = ____(estimator=____, estimatorParamMaps=____, evaluator=____, ____)

Code bewerken en uitvoeren