Dynamische Quantisierung anwenden
Du hast ein neuronales Netzwerkmodell erfolgreich für den Einsatz trainiert und möchtest es jetzt mit dynamischer Quantisierung optimieren. Dieser Schritt ist super wichtig, um dein Modell effizient in Umgebungen mit begrenzten Ressourcen einzusetzen.
Die „ model “ ist schon drauf.
Diese Übung ist Teil des Kurses
Skalierbare KI-Modelle mit PyTorch Lightning
Anleitung zur Übung
- Importiere das benötigte Quantisierungsmodul aus PyTorch.
- Wende dynamische Quantisierung auf lineare Schichten an, mit einer Genauigkeit von 8 Bit.
Interaktive Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)