1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Nhập môn Deep Learning với PyTorch
Connected

Bài tập

Thử nghiệm với learning rate

Trong bài tập này, mục tiêu của bạn là tìm learning rate tối ưu để bộ tối ưu hóa có thể tìm được điểm cực tiểu của hàm không lồi \(x^{4} + x^{3} - 5x^{2}\) trong mười bước.

Bạn sẽ thử nghiệm với ba giá trị learning rate khác nhau. Với bài toán này, hãy thử các giá trị trong khoảng từ 0.001 đến 0.1.

Bạn đã được cung cấp hàm optimize_and_plot() nhận learning rate làm đối số đầu tiên. Hàm này sẽ chạy 10 bước của bộ tối ưu hóa SGD và hiển thị kết quả.

Hướng dẫn 1/3

undefined XP
  • 1
    • Hãy thử một learning rate nhỏ sao cho bộ tối ưu hóa không vượt qua được cực tiểu đầu tiên ở bên phải.
  • 2
    • Hãy thử một learning rate lớn sao cho bộ tối ưu hóa nhảy qua cực tiểu toàn cục tại -2.
  • 3
    • Dựa trên các kết quả trước đó, hãy thử một giá trị learning rate tốt hơn.