Rastgele arama uygulama
Hiperparametre araması, farklı hiperparametre değerlerini denemek için hesaplama açısından maliyetli bir yaklaşımdır. Ancak, performans iyileştirmelerine yol açabilir. Bu egzersizde, rastgele arama (random search) algoritmasını uygulayacaksın.
Öğrenme oranı ve momentum için üniform dağılımdan rastgele 10 değer örnekleyeceksin. Bunu yapmak için np.random.uniform() fonksiyonunu kullanacaksın.
numpy paketi np olarak içe aktarılmış durumda ve sonuçlarını görselleştirmek için plot_hyperparameter_search() fonksiyonu oluşturuldu.
Bu egzersiz
PyTorch ile Deep Learning'e Giriş
kursunun bir parçasıdırEgzersiz talimatları
- Öğrenme oranının (
lr) \(10^{-2}\) ile \(10^{-4}\) arasında olması için2ile4arasında rastgele bir öğrenme oranı katsayısı örnekle. - 0.85 ile 0.99 arasında rastgele bir momentum örnekle.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
values = []
for idx in range(10):
# Randomly sample a learning rate factor between 2 and 4
factor = ____
lr = 10 ** -factor
# Randomly select a momentum between 0.85 and 0.99
momentum = ____
values.append((lr, momentum))
plot_hyperparameter_search(values)