가중치를 수동으로 업데이트하기

이제 가중치와 편향에 접근하는 방법을 알았으니, PyTorch 옵티마이저가 하는 일을 직접 수행해 보겠습니다. PyTorch가 자동으로 처리해 주지만, 수동으로 연습해 보면 모델이 어떻게 학습하고 조정되는지에 대한 감을 기를 수 있어요. 이러한 이해는 신경망을 디버깅하거나 미세 조정할 때 큰 도움이 됩니다.

세 개의 층으로 이루어진 신경망이 생성되어 model 변수에 저장되어 있습니다. 이 네트워크로 순전파를 수행했고, 손실과 그 도함수(그레이디언트)를 계산해 두었습니다. 업데이트 시 그레이디언트를 스케일링하기 위해 기본 학습률 lr이 설정되어 있습니다.