Implementare la random search
La ricerca degli iperparametri è un approccio computazionalmente costoso per sperimentare diversi valori, ma può portare a miglioramenti nelle prestazioni. In questo esercizio, implementerai un algoritmo di random search.
Estrarrai casualmente 10 valori del learning rate e della momentum da una distribuzione uniforme. Per farlo, userai la funzione np.random.uniform().
Il pacchetto numpy è già stato importato come np ed è stata creata una funzione plot_hyperparameter_search() per visualizzare i tuoi risultati.
Questo esercizio fa parte del corso
Introduzione al Deep Learning con PyTorch
Istruzioni dell'esercizio
- Estrai casualmente un fattore del learning rate tra
2e4in modo che il learning rate (lr) sia compreso tra \(10^{-2}\) e \(10^{-4}\). - Estrai casualmente una momentum tra 0.85 e 0.99.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
values = []
for idx in range(10):
# Randomly sample a learning rate factor between 2 and 4
factor = ____
lr = 10 ** -factor
# Randomly select a momentum between 0.85 and 0.99
momentum = ____
values.append((lr, momentum))
plot_hyperparameter_search(values)