Finalizowanie przycinania przez usunięcie maski
Po przycięciu modelu należy go sfinalizować przed zapisaniem lub wdrożeniem. Oznacza to usunięcie maski przycinania, dzięki czemu model przestaje śledzić, które wagi zostały wyzerowane. Użyj prune.remove(), aby wykonać ten krok.
To ćwiczenie jest częścią kursu
Skalowalne modele AI z PyTorch Lightning
Instrukcje do ćwiczenia
- Sfinalizuj przycinanie parametru wag.
- Użyj
prune.remove(), aby usunąć maskę i zapisać końcowe wagi. - Wyświetl model, aby potwierdzić usunięcie maski przycinania.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
import torch.nn.utils.prune as prune
# Before pruning
print(model)
# Finalize pruning by removing the pruning mask
prune.____(model[3], "____")
# Print model structure after pruning
print(____)