Thử nghiệm với learning rate
Trong bài tập này, mục tiêu của bạn là tìm learning rate tối ưu để bộ tối ưu hóa có thể tìm được điểm cực tiểu của hàm không lồi \(x^{4} + x^{3} - 5x^{2}\) trong mười bước.
Bạn sẽ thử nghiệm với ba giá trị learning rate khác nhau. Với bài toán này, hãy thử các giá trị trong khoảng từ 0.001 đến 0.1.
Bạn đã được cung cấp hàm optimize_and_plot() nhận learning rate làm đối số đầu tiên. Hàm này sẽ chạy 10 bước của bộ tối ưu hóa SGD và hiển thị kết quả.
Bài tập này là một phần của khóa học
Nhập môn Deep Learning với PyTorch
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)