Expérimenter avec le taux d’apprentissage
Dans cet exercice, votre objectif est de trouver le taux d’apprentissage optimal pour que l’optimiseur puisse trouver le minimum de la fonction non convexe \(x^{4} + x^{3} - 5x^{2}\) en dix étapes.
Vous expérimenterez trois valeurs différentes de taux d’apprentissage. Pour ce problème, essayez des valeurs de taux d’apprentissage comprises entre 0,001 et 0,1.
Vous disposez de la fonction optimize_and_plot() qui prend le taux d’apprentissage comme premier argument. Cette fonction exécute 10 étapes de l’optimiseur SGD et affiche les résultats.
Cet exercice fait partie du cours
<cours>Introduction au deep learning avec PyTorch</cours>Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)