Cập nhật trọng số thủ công
Giờ bạn đã biết cách truy cập trọng số và độ chệch, bạn sẽ tự tay làm công việc của bộ tối ưu hóa trong PyTorch. Dù PyTorch tự động hóa bước này, việc luyện tập thủ công giúp bạn hình dung rõ hơn cách mô hình học và điều chỉnh. Hiểu biết này rất hữu ích khi bạn gỡ lỗi hoặc tinh chỉnh mạng nơ-ron.
Một mạng nơ-ron 3 tầng đã được tạo và lưu trong biến model. Mạng này đã được chạy forward pass, và loss cùng các đạo hàm của nó đã được tính. Một tốc độ học mặc định, lr, đã được chọn để nhân với gradient khi cập nhật.
Bài tập này là một phần của khóa học
Nhập môn Deep Learning với PyTorch
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____