Експерименти зі швидкістю навчання
У цій вправі ваша мета — підібрати оптимальну швидкість навчання так, щоб оптимізатор за десять кроків знайшов мінімум неконвексної функції \(x^{4} + x^{3} - 5x^{2}\).
Ви поекспериментуєте з трьома різними значеннями швидкості навчання. Для цього завдання спробуйте значення в діапазоні від 0.001 до 0.1.
Вам надано функцію optimize_and_plot(), яка приймає швидкість навчання як перший аргумент. Ця функція виконає 10 кроків оптимізатора SGD і покаже результати.
Ця вправа є частиною курсу
Вступ до Deep Learning з PyTorch
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Try a first learning rate value
lr0 = ____
optimize_and_plot(lr=lr0)