Importe RegressionEvaluator de pyspark.ml.evaluation e ParamGridBuilder e CrossValidator de pyspark.ml.tuning.
Construa um ParamGrid chamado param_grid usando o ParamGridBuilder fornecido. Chame o método .addGrid() para cada hiperparâmetro, informando o nome do modelo e o nome de cada hiperparâmetro (ex: .addGrid(als.rank, [])). Faça isso para os hiperparâmetros rank, maxIter e regParam. Também forneça as respectivas listas de valores de hiperparâmetros que o Spark deve testar, conforme indicado aqui:

 rank: [10, 50, 100, 150]  
 maxIter: [5, 50, 100, 200]  
 regParam: [.01, .05, .1, .15]

Crie um RegressionEvaluator chamado evaluator. Defina metricName como "rmse", defina labelCol como "rating" e diga ao Spark que, ao gerar previsões, chame a predictionCol de "prediction".
Execute len(param_grid) para confirmar que o param_grid foi criado e para verificar que o número correto de combinações de hiperparâmetros será testado. Ele deve ser igual ao número de valores de rank * o número de valores de maxIter * o número de valores de regParam no ParamGridBuilder.

Interpretando o RMSE

Construindo mecanismos de recomendação com PySpark