Aplikování pruningu na lineární vrstvu
Natrénovali jsme model pro klasifikaci obrázků s plně propojenou (lineární) vrstvou. Teď na tuto vrstvu aplikujeme unstrukturovaný pruning, abychom zmenšili velikost modelu bez výrazného dopadu na jeho výkon. K tomu využijeme metodu l1_unstructured z PyTorche.
Model je předem načten v proměnné model.
Toto cvičení je součástí kurzu
Škálovatelné modely AI s PyTorch Lightning
Pokyny k cvičení
- Importuj modul pro pruning z
torch.nn.utils. - Aplikuj pruning
l1_unstructurednamodel[3], tedy na poslední vrstvu, a odstraň 30 % vah.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)