Gerar previsões e calcular o RMSE

Agora que temos um modelo treinado nos dados e ajustado por validação cruzada, podemos ver como ele se sai no dataframe test. Para isso, vamos calcular o RMSE.

Como observação, a geração das previsões de teste leva mais do que alguns minutos com este conjunto de dados. Por isso, as previsões de teste já foram geradas e são fornecidas aqui como um dataframe chamado test_predictions. Para sua referência, elas são geradas com este código: test_predictions = best_model.transform(test).

Este exercicio faz parte do curso

Construindo mecanismos de recomendação com PySpark

Ver curso

Instruções do exercicio

O dataframe test_predictions contém as previsões que nosso modelo de ALS com validação cruzada gerou usando o conjunto test que criamos anteriormente. Use o método .show() para dar uma olhada e ver se as previsões parecem próximas.
Use o evaluator que você construiu anteriormente para calcular o RMSE, chamando o método .evaluate() em test_predictions. Dê a esse valor o nome RMSE.
Imprima o RMSE.

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

# View the predictions 
test_predictions.____()

# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)

Editar e Executar Código