Triển khai random search
Tìm kiếm siêu tham số là một cách tốn kém về tính toán để thử nghiệm nhiều giá trị siêu tham số khác nhau. Tuy nhiên, nó có thể giúp cải thiện hiệu năng. Trong bài tập này, bạn sẽ triển khai một thuật toán random search.
Bạn sẽ lấy ngẫu nhiên 10 giá trị của learning rate và momentum từ phân phối đều (uniform). Để làm điều đó, bạn sẽ dùng hàm np.random.uniform().
Gói numpy đã được nhập sẵn dưới tên np, và một hàm plot_hyperparameter_search() đã được tạo để trực quan hóa kết quả của bạn.
Bài tập này là một phần của khóa học
Nhập môn Deep Learning với PyTorch
Hướng dẫn bài tập
- Lấy ngẫu nhiên hệ số learning rate trong khoảng từ
2đến4để learning rate (lr) được giới hạn trong khoảng \(10^{-2}\) đến \(10^{-4}\). - Lấy ngẫu nhiên momentum trong khoảng từ 0.85 đến 0.99.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
values = []
for idx in range(10):
# Randomly sample a learning rate factor between 2 and 4
factor = ____
lr = 10 ** -factor
# Randomly select a momentum between 0.85 and 0.99
momentum = ____
values.append((lr, momentum))
plot_hyperparameter_search(values)