สร้างการคาดการณ์และคำนวณ RMSE
เมื่อมีโมเดลที่ผ่านการฝึกและปรับแต่งด้วย cross validation แล้ว เราสามารถทดสอบประสิทธิภาพบน dataframe test ได้โดยการคำนวณค่า RMSE
หมายเหตุ: การสร้างการคาดการณ์ชุดทดสอบอาจใช้เวลาหลายนาทีกับชุดข้อมูลนี้ จึงได้เตรียมผลลัพธ์ไว้ให้แล้วในรูป dataframe ชื่อ test_predictions ซึ่งสร้างจากโค้ด: test_predictions = best_model.transform(test)
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Recommendation Engines ด้วย PySpark
คำแนะนำการฝึกหัด
- dataframe
test_predictionsเก็บผลการคาดการณ์ที่โมเดล ALS แบบ cross-validated สร้างขึ้นจากชุดข้อมูลtestที่เราสร้างไว้ก่อนหน้านี้ ใช้เมธอด.show()เพื่อดูข้อมูลและตรวจสอบว่าผลการคาดการณ์ใกล้เคียงกับค่าจริงหรือไม่ - ใช้
evaluatorที่สร้างไว้เพื่อคำนวณค่าRMSEโดยเรียกเมธอด.evaluate()บนtest_predictionsแล้วเก็บผลลัพธ์ไว้ในตัวแปรชื่อRMSE - แสดงค่า
RMSEออกทางหน้าจอ
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# View the predictions
test_predictions.____()
# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)