Použití dynamické kvantizace
Úspěšně jsi natrénoval/a neuronovou síť a teď ji chceš před nasazením optimalizovat pomocí dynamické kvantizace. Tento krok je klíčový pro efektivní nasazení modelu v prostředích s omezenými zdroji.
Proměnná model je již načtena.
Toto cvičení je součástí kurzu
Škálovatelné modely AI s PyTorch Lightning
Pokyny k cvičení
- Importuj potřebný modul pro kvantizaci z PyTorche.
- Aplikuj dynamickou kvantizaci zaměřenou na lineární vrstvy s přesností na 8bitová celá čísla.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)