CommencerCommencer gratuitement

Implémentation de la recherche aléatoire

La recherche d’hyperparamètres est une approche, coûteuse sur le plan du calcul, qui permet d’expérimenter plusieurs valeurs d’hyperparamètres. Elle peut toutefois permettre d’améliorer les performances. Dans cet exercice, vous allez implémenter un algorithme de recherche aléatoire.

Vous prélèverez au hasard 10 valeurs du taux d’apprentissage et de la dynamique à partir de la distribution uniforme. Pour ce faire, vous utiliserez la fonction np.random.uniform().

Le paquet numpy a déjà été importé en tant que np, et une fonction plot_hyperparameter_search() a été créée pour visualiser vos résultats.

Cet exercice fait partie du cours

Introduction au deep learning avec PyTorch

Afficher le cours

Instructions

  • Choisissez au hasard un facteur de taux d’apprentissage entre 2 et 4 de sorte que le taux d’apprentissage (lr) soit compris entre \(10^{-2}\) et \(10^{-4}\).
  • Prélevez au hasard un momentum compris entre 0,85 et 0,99.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)
Modifier et exécuter le code