Terapkan kuantisasi dinamis
Anda telah berhasil melatih model neural network untuk deployment, dan sekarang Anda ingin mengoptimalkannya menggunakan kuantisasi dinamis. Langkah ini penting agar model dapat dideploy secara efisien pada lingkungan dengan sumber daya terbatas.
model telah dimuat sebelumnya.
Latihan ini adalah bagian dari kursus
Model AI yang Dapat Diskalakan dengan PyTorch Lightning
Petunjuk latihan
- Impor modul kuantisasi yang diperlukan dari PyTorch.
- Terapkan kuantisasi dinamis yang menargetkan layer linear dengan presisi bilangan bulat 8-bit.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)