ÎncepețiÎncepe gratuit

Implementarea căutării aleatoare

Căutarea hiperparametrilor este o abordare costisitoare din punct de vedere computațional, prin care experimentezi cu diferite valori ale hiperparametrilor. Cu toate acestea, poate duce la îmbunătățirea performanței. În acest exercițiu, vei implementa un algoritm de căutare aleatoare.

Vei eșantiona aleatoriu 10 valori pentru rata de învățare și momentum dintr-o distribuție uniformă. Pentru aceasta, vei folosi funcția np.random.uniform().

Pachetul numpy a fost deja importat ca np, iar funcția plot_hyperparameter_search() a fost creată pentru a vizualiza rezultatele.

Acest exercițiu face parte din cursul

Introducere în Deep Learning cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

  • Eșantionează aleatoriu un factor pentru rata de învățare între 2 și 4, astfel încât rata de învățare (lr) să fie cuprinsă între \(10^{-2}\) și \(10^{-4}\).
  • Eșantionează aleatoriu un momentum între 0,85 și 0,99.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)
Editează și rulează codul