การอัปเดตค่าน้ำหนักด้วยตนเอง
เมื่อเข้าใจวิธีเข้าถึงค่าน้ำหนักและค่า bias แล้ว ต่อไปจะลองทำหน้าที่ของ PyTorch optimizer ด้วยตนเอง แม้ PyTorch จะจัดการส่วนนี้ให้โดยอัตโนมัติ แต่การฝึกทำเองจะช่วยให้เข้าใจกระบวนการเรียนรู้และปรับค่าของโมเดลได้ลึกซึ้งขึ้น ซึ่งจะเป็นประโยชน์อย่างมากเมื่อต้องดีบักหรือปรับแต่งโครงข่ายประสาทเทียม
โครงข่ายประสาทเทียมสามชั้นถูกสร้างขึ้นและเก็บไว้ในตัวแปร model แล้ว โมเดลนี้ผ่านการทำ forward pass มาแล้ว และได้คำนวณค่า loss พร้อมอนุพันธ์ของมันเรียบร้อย นอกจากนี้ยังมีการกำหนดค่า learning rate เริ่มต้น lr สำหรับใช้ปรับขนาด gradient ในการอัปเดตค่าน้ำหนัก
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning เบื้องต้นด้วย PyTorch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight
# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____