Implementera slumpmässig sökning
Hyperparametersökning är en beräkningsmässigt kostsam metod för att experimentera med olika hyperparametervärden, men den kan leda till förbättrad prestanda. I den här övningen implementerar du en algoritm för slumpmässig sökning.
Du kommer att slumpmässigt sampla 10 värden för inlärningshastigheten och momentet från en likformig fördelning. För detta använder du funktionen np.random.uniform().
Paketet numpy har redan importerats som np, och funktionen plot_hyperparameter_search() har skapats för att visualisera dina resultat.
Den här övningen är en del av kursen
Introduktion till djupinlärning med PyTorch
Övningsinstruktioner
- Sampla slumpmässigt en faktor för inlärningshastigheten mellan
2och4så att inlärningshastigheten (lr) begränsas till intervallet \(10^{-2}\) och \(10^{-4}\). - Sampla slumpmässigt ett momentvärde mellan 0,85 och 0,99.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
values = []
for idx in range(10):
# Randomly sample a learning rate factor between 2 and 4
factor = ____
lr = 10 ** -factor
# Randomly select a momentum between 0.85 and 0.99
momentum = ____
values.append((lr, momentum))
plot_hyperparameter_search(values)