1. Apprendre
    2. /
  2. Cours
    3. /
  3. Introduction au Deep Learning avec PyTorch
Connected

Exercice

Expérimenter avec le momentum

Dans cet exercice, votre objectif est de trouver le momentum optimal pour que l'optimiseur atteigne le minimum de la fonction non convexe suivante : \(x^{4} + x^{3} - 5x^{2}\) en 20 étapes. Vous testerez deux valeurs différentes de momentum. Pour ce problème, le taux d'apprentissage est fixé à 0,01.

On met à votre disposition la fonction optimize_and_plot() qui accepte en entrée le paramètre momentum. Cette fonction exécutera 20 étapes de l'optimiseur SGD et affichera les résultats.

Instructions 1/2

undefined XP
  • 1
    • Essayez une première valeur de momentum de façon à ce que l'optimiseur se retrouve coincé dans le premier minimum.
  • 2
    • Essayez une deuxième valeur de momentum de façon à ce que l'optimiseur trouve l'optimum global.