1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Nhập môn Deep Learning với PyTorch
Connected

Bài tập

Triển khai random search

Tìm kiếm siêu tham số là một cách tốn kém về tính toán để thử nghiệm nhiều giá trị siêu tham số khác nhau. Tuy nhiên, nó có thể giúp cải thiện hiệu năng. Trong bài tập này, bạn sẽ triển khai một thuật toán random search.

Bạn sẽ lấy ngẫu nhiên 10 giá trị của learning rate và momentum từ phân phối đều (uniform). Để làm điều đó, bạn sẽ dùng hàm np.random.uniform().

Gói numpy đã được nhập sẵn dưới tên np, và một hàm plot_hyperparameter_search() đã được tạo để trực quan hóa kết quả của bạn.

Hướng dẫn

100 XP
  • Lấy ngẫu nhiên hệ số learning rate trong khoảng từ 2 đến 4 để learning rate (lr) được giới hạn trong khoảng \(10^{-2}\) đến \(10^{-4}\).
  • Lấy ngẫu nhiên momentum trong khoảng từ 0.85 đến 0.99.