ทดลองปรับค่า momentum
ในแบบฝึกหัดนี้ เป้าหมายคือการหาค่า momentum ที่เหมาะสมที่สุด เพื่อให้ optimizer สามารถหาค่าต่ำสุดของฟังก์ชัน \(x^{4} + x^{3} - 5x^{2}\) ที่ไม่ใช่ convex ได้ภายใน 20 ขั้นตอน โดยจะทดลองใช้ค่า momentum 2 ค่าที่แตกต่างกัน สำหรับปัญหานี้ learning rate ถูกกำหนดไว้ที่ 0.01
ฟังก์ชัน optimize_and_plot() ถูกเตรียมไว้ให้แล้ว โดยรับพารามิเตอร์ momentum เป็น input ฟังก์ชันนี้จะรัน SGD optimizer 20 ขั้นตอนและแสดงผลลัพธ์
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning เบื้องต้นด้วย PyTorch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)