เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

Apply dynamic quantization

You've successfully trained a neural network model for deployment, and now you want to optimize it using dynamic quantization. This step is crucial for deploying your model efficiently in environments with limited resources.

The model has been pre-loaded.

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Scalable AI Models with PyTorch Lightning

ดูคอร์ส

คำแนะนำการฝึกหัด

  • Import the necessary quantization module from PyTorch.
  • Apply dynamic quantization targeting linear layers, using 8-bit integer precision.

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

import torch
# Import the necessary quantization module
from torch.quantization import ____

# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
    ____, {torch.nn.____}, dtype=torch.____
)
แก้ไขและรันโค้ด