เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ใช้งาน dynamic quantization

หลังจากเทรนโมเดลโครงข่ายประสาทเทียมสำเร็จและพร้อมสำหรับการ deploy แล้ว ขั้นตอนต่อไปคือการปรับให้โมเดลมีประสิทธิภาพมากขึ้นด้วย dynamic quantization ซึ่งเป็นขั้นตอนสำคัญสำหรับการ deploy โมเดลในสภาพแวดล้อมที่มีทรัพยากรจำกัด

โหลด model ไว้ให้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

AI Models แบบ Scalable ด้วย PyTorch Lightning

ดูคอร์ส

คำแนะนำการฝึกหัด

  • Import โมดูล quantization ที่จำเป็นจาก PyTorch
  • ใช้ dynamic quantization โดยกำหนดเป้าหมายเป็น linear layer และใช้ความแม่นยำแบบ 8-bit integer

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

import torch
# Import the necessary quantization module
from torch.quantization import ____

# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
    ____, {torch.nn.____}, dtype=torch.____
)
แก้ไขและรันโค้ด