予測を生成して RMSE を計算する
学習データで学習し、交差検証でチューニングしたモデルが、test データフレームでどの程度うまく動くかを確認しましょう。そのために RMSE を計算します。
補足として、このデータセットではテスト予測の生成に数分以上かかります。そこで本演習では、あらかじめ生成済みのテスト予測を test_predictions というデータフレームで提供します。参考までに、次のコードで生成しています: test_predictions = best_model.transform(test)。
この演習はコースの一部です
PySpark で作る Recommendation Engines
演習の手順
- データフレーム
test_predictionsには、以前に作成したtestセットを使って、交差検証済み ALS モデルが生成した予測が入っています。.show()メソッドで中身を確認し、予測値がおおむね妥当か見てみましょう。 - 以前に作成した
evaluatorを使い、生成済みのtest_predictionsに対して.evaluate()メソッドを呼び出してRMSEを計算します。これをRMSEとして保存してください。 RMSEを出力してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# View the predictions
test_predictions.____()
# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)