Dinamik niceleme uygula
Bir sinir ağı modelini dağıtım için başarıyla eğittin ve şimdi dinamik niceleme ile optimize etmek istiyorsun. Bu adım, modelini kaynakların kısıtlı olduğu ortamlarda verimli biçimde dağıtmak için kritik öneme sahip.
model önceden yüklendi.
Bu egzersiz, kursun bir parçasıdır
PyTorch Lightning ile Ölçeklenebilir AI Modelleri
Egzersiz talimatları
- PyTorch'tan gerekli niceleme modülünü içe aktar.
- Doğrusal katmanları hedefleyerek 8 bit tamsayı duyarlılığıyla dinamik niceleme uygula.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)