Эксперименты со скоростью обучения
В этом упражнении ваша цель — найти оптимальную скорость обучения, при которой оптимизатор сможет найти минимум невыпуклой функции \(x^{4} + x^{3} - 5x^{2}\) за десять шагов.
Вы попробуете три разных значения скорости обучения. Для этой задачи используйте значения в диапазоне от 0,001 до 0,1.
Вам предоставлена функция optimize_and_plot(), которая принимает скорость обучения в качестве первого аргумента. Эта функция выполнит 10 шагов оптимизатора SGD и отобразит результаты.
Это упражнение является частью курса
Введение в глубокое обучение с PyTorch
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)