Pas dynamische quantization toe
Je hebt met succes een neuraal netwerkmodel getraind voor deployment en wilt het nu optimaliseren met dynamische quantization. Deze stap is cruciaal om je model efficiënt te deployen in omgevingen met beperkte resources.
Het model is vooraf geladen.
Deze oefening maakt deel uit van de cursus
Schaalbare AI-modellen met PyTorch Lightning
Oefeninstructies
- Importeer de benodigde quantization-module uit PyTorch.
- Pas dynamische quantization toe op lineaire lagen, met 8-bit integer-precisie.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)