Aplică cuantizarea dinamică
Ai antrenat cu succes un model de rețea neuronală pentru deployment și acum vrei să îl optimizezi prin cuantizare dinamică. Acest pas este esențial pentru a putea implementa modelul eficient în medii cu resurse limitate.
model a fost preîncărcat.
Acest exercițiu face parte din cursul
Modele AI scalabile cu PyTorch Lightning
Instrucțiuni pentru exercițiu
- Importă modulul de cuantizare necesar din PyTorch.
- Aplică cuantizarea dinamică vizând straturile liniare, folosind precizie pe 8 biți întregi.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)