สร้าง Cross Validation Pipeline
เมื่อมีข้อมูล การแบ่ง train/test โมเดล และค่า hyperparameter พร้อมแล้ว ขั้นตอนต่อไปคือบอก Spark ให้ทำ cross validate โมเดล เพื่อค้นหาชุดค่า hyperparameter ที่ดีที่สุดและส่งผลลัพธ์กลับมา
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Recommendation Engines ด้วย PySpark
คำแนะนำการฝึกหัด
- สร้าง
CrossValidatorชื่อcvโดยใช้โมเดลalsเป็น estimator ตั้งค่าestimatorParamMapsเป็นparam_gridที่สร้างไว้ก่อนหน้านี้ และระบุว่าevaluatorที่ใช้คือ"evaluator"ที่สร้างไว้แล้ว จากนั้นตั้งค่าnumFoldsเป็น 5 - ตรวจสอบว่าสร้าง
cvสำเร็จโดยการ printcv
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)
# Confirm cv was built
print(____)