Експериментуємо з моментом імпульсу
У цій вправі ваша мета — підібрати оптимальний момент імпульсу, щоб оптимізатор знайшов мінімум такої невипуклої функції: \(x^{4} + x^{3} - 5x^{2}\) за 20 кроків. Ви спробуєте два різні значення моменту імпульсу. Для цього завдання швидкість навчання фіксована і дорівнює 0,01.
Вам надано функцію optimize_and_plot(), яка приймає параметр momentum. Ця функція виконає 20 кроків оптимізатора SGD і покаже результати.
Ця вправа є частиною курсу
Вступ до Deep Learning з PyTorch
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)