가중치를 수동으로 업데이트하기
이제 가중치와 편향에 접근하는 방법을 알았으니, PyTorch 옵티마이저가 하는 일을 직접 수행해 보겠습니다. PyTorch가 자동으로 처리해 주지만, 수동으로 연습해 보면 모델이 어떻게 학습하고 조정되는지에 대한 감을 기를 수 있어요. 이러한 이해는 신경망을 디버깅하거나 미세 조정할 때 큰 도움이 됩니다.
세 개의 층으로 이루어진 신경망이 생성되어 model 변수에 저장되어 있습니다. 이 네트워크로 순전파를 수행했고, 손실과 그 도함수(그레이디언트)를 계산해 두었습니다. 업데이트 시 그레이디언트를 스케일링하기 위해 기본 학습률 lr이 설정되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 배우는 딥러닝 입문
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____