ปรับแต่ง Linear Regression สำหรับข้อมูลเที่ยวบิน

ที่ผ่านมาเราใช้ไฮเปอร์พารามิเตอร์ค่าเริ่มต้นในการสร้างโมเดลตลอด ในแบบฝึกหัดนี้ จะใช้ cross-validation เพื่อเลือกชุดไฮเปอร์พารามิเตอร์ที่เหมาะสมที่สุด (หรือใกล้เคียงที่สุด)

ออบเจ็กต์ต่อไปนี้ถูกสร้างไว้ให้แล้ว:

regression — ออบเจ็กต์ LinearRegression
pipeline — pipeline ที่ประกอบด้วย string indexer, one-hot encoder, vector assembler และ linear regression
evaluator — ออบเจ็กต์ RegressionEvaluator

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Machine Learning with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

สร้าง parameter grid builder
เพิ่ม grid สำหรับ regression.regParam (ค่า 0.01, 0.1, 1.0 และ 10.0) และ regression.elasticNetParam (ค่า 0.0, 0.5 และ 1.0)
Build grid
สร้าง cross validator โดยกำหนดจำนวน fold เป็น 5

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create parameter grid
params = ____()

# Add grids for two parameters
params = params.____(____, ____) \
               .____(____, ____)

# Build the parameter grid
params = params.____()
print('Number of models to be tested: ', len(params))

# Create cross-validator
cv = ____(estimator=____, estimatorParamMaps=____, evaluator=____, ____)

แก้ไขและรันโค้ด