Dinamik niceleme uygula
Bir sinir ağı modelini dağıtım için başarıyla eğittin ve şimdi dinamik niceleme ile optimize etmek istiyorsun. Bu adım, modelini kaynakların kısıtlı olduğu ortamlarda verimli biçimde dağıtmak için kritik öneme sahip.
model önceden yüklendi.
Bu egzersiz
PyTorch Lightning ile Ölçeklenebilir AI Modelleri
kursunun bir parçasıdırEgzersiz talimatları
- PyTorch'tan gerekli niceleme modülünü içe aktar.
- Doğrusal katmanları hedefleyerek 8 bit tamsayı duyarlılığıyla dinamik niceleme uygula.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)