Applica la quantizzazione dinamica
Hai addestrato con successo un modello di rete neurale per il deployment e ora vuoi ottimizzarlo usando la quantizzazione dinamica. Questo passaggio è fondamentale per distribuire il modello in modo efficiente in ambienti con risorse limitate.
Il model è stato precaricato.
Questo esercizio fa parte del corso
Modelli di AI scalabili con PyTorch Lightning
Istruzioni dell'esercizio
- Importa il modulo di quantizzazione necessario da PyTorch.
- Applica la quantizzazione dinamica ai layer lineari usando precisione intera a 8 bit.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)