Terapkan kuantisasi dinamis
Anda telah berhasil melatih model neural network untuk deployment, dan sekarang Anda ingin mengoptimalkannya menggunakan kuantisasi dinamis. Langkah ini penting agar model dapat dideploy secara efisien pada lingkungan dengan sumber daya terbatas.
model telah dimuat sebelumnya.
Latihan ini merupakan bagian dari kursus
Model AI yang Dapat Diskalakan dengan PyTorch Lightning
Instruksi latihan
- Impor modul kuantisasi yang diperlukan dari PyTorch.
- Terapkan kuantisasi dinamis yang menargetkan layer linear dengan presisi bilangan bulat 8-bit.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)