Thử nghiệm với momentum
Trong bài tập này, mục tiêu của bạn là tìm giá trị momentum tối ưu để bộ tối ưu hóa có thể tìm được điểm cực tiểu của hàm không lồi sau: \(x^{4} + x^{3} - 5x^{2}\) trong 20 bước. Bạn sẽ thử nghiệm với hai giá trị momentum khác nhau. Với bài toán này, learning rate được cố định ở mức 0.01.
Bạn được cung cấp hàm optimize_and_plot() nhận tham số đầu vào là momentum. Hàm này sẽ chạy 20 bước của bộ tối ưu hóa SGD và hiển thị kết quả.
Bài tập này là một phần của khóa học
Nhập môn Deep Learning với PyTorch
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)