Tạo dự đoán và tính RMSE
Giờ bạn đã có một mô hình được huấn luyện trên dữ liệu và tinh chỉnh qua cross validation, hãy xem mô hình hoạt động thế nào trên dataframe test. Để làm điều này, chúng ta sẽ tính RMSE.
Lưu ý: việc tạo dự đoán trên tập kiểm tra với bộ dữ liệu này mất hơn vài phút. Vì vậy, các dự đoán kiểm tra đã được tạo sẵn và cung cấp dưới dạng dataframe test_predictions. Tham khảo: chúng được tạo bằng đoạn mã sau: test_predictions = best_model.transform(test).
Bài tập này là một phần của khóa học
Xây dựng Recommendation Engine với PySpark
Hướng dẫn bài tập
- Dataframe
test_predictionschứa các dự đoán mà mô hình ALS đã cross-validate tạo ra từ tậptestmà bạn đã tạo trước đó. Dùng phương thức.show()để xem nhanh và kiểm tra độ gần đúng của các dự đoán. - Dùng
evaluatorbạn đã xây dựng trước đó để tínhRMSEbằng cách gọi phương thức.evaluate()trêntest_predictions. Gán kết quả này làRMSE. - In ra
RMSE.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# View the predictions
test_predictions.____()
# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)