ทดลองปรับ Learning Rate
ในแบบฝึกหัดนี้ เป้าหมายคือการหา learning rate ที่เหมาะสมที่สุด เพื่อให้ optimizer สามารถหาค่าต่ำสุดของฟังก์ชัน non-convex \(x^{4} + x^{3} - 5x^{2}\) ได้ภายใน 10 ขั้นตอน
จะได้ทดลองใช้ค่า learning rate ที่แตกต่างกัน 3 ค่า โดยให้ลองค่าระหว่าง 0.001 ถึง 0.1
มีฟังก์ชัน optimize_and_plot() ให้พร้อมใช้งาน โดยรับค่า learning rate เป็นอาร์กิวเมนต์แรก ฟังก์ชันนี้จะรัน SGD optimizer 10 ขั้นตอนและแสดงผลลัพธ์
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning เบื้องต้นด้วย PyTorch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)