Ручне оновлення ваг
Тепер, коли ви знаєте, як отримувати доступ до ваг і зміщень, ви вручну виконаєте роботу оптимізатора PyTorch. Хоча PyTorch автоматизує цей процес, ручна практика допоможе вам краще зрозуміти, як моделі навчаються та коригуються. Це розуміння стане в пригоді під час налагодження або тонкого налаштування нейронних мереж.
Створено нейронну мережу з трьома шарами та збережено у змінній model. Для цієї мережі вже виконано прямий прохід, обчислено функцію втрат і її похідні. Вибрано типову швидкість навчання lr, щоб масштабувати градієнти під час оновлення.
Ця вправа є частиною курсу
Вступ до Deep Learning з PyTorch
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____