Aplicar quantização dinâmica
Você treinou com sucesso um modelo de rede neural para implantação e agora quer otimizá-lo usando quantização dinâmica. Essa etapa é super importante pra implantar seu modelo de forma eficiente em ambientes com recursos limitados.
O aplicativo “ model ” já está instalado.
Este exercício faz parte do curso
Modelos de IA escaláveis com PyTorch Lightning
Instruções do exercício
- Importa o módulo de quantização necessário do PyTorch.
- Aplique quantização dinâmica direcionada a camadas lineares, usando precisão inteira de 8 bits.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)