Zastosuj kwantyzację dynamiczną
Udało ci się wytrenować model sieci neuronowej z myślą o wdrożeniu – teraz chcesz go zoptymalizować za pomocą kwantyzacji dynamicznej. To ważny krok, który pozwala efektywnie wdrażać model w środowiskach z ograniczonymi zasobami.
Model model został wcześniej wczytany.
To ćwiczenie jest częścią kursu
Skalowalne modele AI z PyTorch Lightning
Instrukcje do ćwiczenia
- Zaimportuj niezbędny moduł kwantyzacji z PyTorch.
- Zastosuj kwantyzację dynamiczną, wskazując warstwy liniowe jako cel i używając 8-bitowej precyzji całkowitoliczbowej.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)