手动更新权重
现在，您已经知道如何访问权重和偏置，接下来将手动完成 PyTorch 优化器的工作。虽然 PyTorch 会自动完成这些步骤，但手动练习有助于您直观理解模型如何学习和调整。在调试或微调神经网络时，这种理解非常有价值。
已经创建了一个包含 3 层的神经网络，并存储在变量 model 中。该网络已完成一次前向传播，并计算了损失及其导数。已经选择了一个默认学习率 lr，用于在更新时对梯度进行缩放。
本练习是课程的一部分
使用 PyTorch 的深度学习入门
交互式实操练习
通过完成这段示例代码来试试这个练习。
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____