Áp dụng lượng tử hóa động
Bạn đã huấn luyện xong một mô hình mạng nơ-ron để triển khai và giờ muốn tối ưu nó bằng lượng tử hóa động. Bước này rất quan trọng để triển khai mô hình hiệu quả trong môi trường tài nguyên hạn chế.
model đã được nạp sẵn.
Bài tập này là một phần của khóa học
Mô hình AI có khả năng mở rộng với PyTorch Lightning
Hướng dẫn bài tập
- Import mô-đun lượng tử hóa cần thiết từ PyTorch.
- Áp dụng lượng tử hóa động cho các lớp linear, sử dụng độ chính xác số nguyên 8-bit.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)