สร้าง RMSE Evaluator
เมื่อรู้วิธี fit โมเดลกับข้อมูล training และสร้างการพยากรณ์จากข้อมูล test แล้ว ขั้นตอนต่อไปคือการวัดประสิทธิภาพของโมเดล สำหรับจุดนี้ เราจะสร้าง evaluator ขึ้นมา ใน Spark นั้น Evaluator สามารถสร้างได้หลายรูปแบบ โดยในที่นี้เราต้องการ regressionEvaluator ที่คำนวณค่า RMSE หลังจากสร้าง regressionEvaluator แล้ว ก็สามารถ fit โมเดลกับข้อมูลและสร้างการพยากรณ์ได้เลย
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Recommendation Engines ด้วย PySpark
คำแนะนำการฝึกหัด
- Import แพ็กเกจ
RegressionEvaluatorจากคลาสpyspark.ml.evaluation - เติมโค้ดในส่วน
evaluatorโดยระบุmetric nameเป็น"rmse"ตั้งค่าlabelColให้ตรงกับชื่อคอลัมน์ที่เก็บคะแนนในข้อมูลratings(ใช้ratings.columnsเพื่อดูชื่อคอลัมน์) และตั้งชื่อคอลัมน์predictionเป็น"prediction" - ตรวจสอบว่าสร้าง
evaluatorได้ถูกต้องโดยดึงค่าพารามิเตอร์ทั้งสามออกมา โดยรัน 3 บรรทัดต่อไปนี้ แต่ละบรรทัดภายใน print statement:evaluator.getMetricName()evaluator.getLabelCol()evaluator.getPredictionCol()
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import RegressionEvaluator
from pyspark.ml.evaluation import ____
# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")
# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())