生成预测并计算 RMSE
现在我们已经在数据上训练了模型,并通过交叉验证完成了调优,接下来看看它在 test 数据框上的表现。为此,我们将计算 RMSE。
另外说明一下:在该数据集上生成测试集预测需要超过几分钟。出于练习体验考虑,这里已经预先生成好测试集预测,并以名为 test_predictions 的数据框提供。供您参考,它是通过以下代码生成的:test_predictions = best_model.transform(test)。
本练习是课程的一部分
使用 PySpark 构建推荐引擎
练习说明
- 数据框
test_predictions包含我们用之前创建的test集通过交叉验证过的 ALS 模型生成的预测。使用.show()方法查看它,看看预测是否接近。 - 使用您之前构建的
evaluator,在生成的test_predictions上调用.evaluate()方法,计算RMSE。将其命名为RMSE。 - 打印
RMSE。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# View the predictions
test_predictions.____()
# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)