สรุปการ pruning โดยการลบ mask ออก
หลังจาก pruning โมเดลแล้ว ต้องดำเนินการขั้นสุดท้ายก่อนบันทึกหรือ deploy โดยการลบ pruning mask ออก เพื่อให้โมเดลไม่ต้องติดตามอีกต่อไปว่าค่าน้ำหนักใดถูกกำหนดเป็นศูนย์ ใช้ prune.remove() เพื่อดำเนินการในขั้นตอนนี้
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
AI Models แบบ Scalable ด้วย PyTorch Lightning
คำแนะนำการฝึกหัด
- สรุปการ pruning ของพารามิเตอร์ weight
- ใช้
prune.remove()เพื่อลบ mask และจัดเก็บค่าน้ำหนักสุดท้าย - พิมพ์โมเดลเพื่อยืนยันว่าลบ pruning ออกเรียบร้อยแล้ว
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
import torch.nn.utils.prune as prune
# Before pruning
print(model)
# Finalize pruning by removing the pruning mask
prune.____(model[3], "____")
# Print model structure after pruning
print(____)