Aan de slagGa gratis aan de slag

Pas pruning toe op een lineaire laag

We hebben een beeldclassificatiemodel getraind met een volledig verbonden (lineaire) laag. Nu is het de bedoeling om ongestructureerde pruning toe te passen op deze laag om de modelgrootte te verkleinen zonder de prestaties noemenswaardig te beïnvloeden. We gebruiken PyTorch's l1_unstructured-methode voor deze taak.

Het model is al geladen in de variabele model.

Deze oefening maakt deel uit van de cursus

Schaalbare AI-modellen met PyTorch Lightning

Cursus bekijken

Oefeninstructies

  • Importeer de pruning-module uit torch.nn.utils.
  • Pas l1_unstructured pruning toe op model[3], de laatste laag, en prune 30% van de gewichten.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)
Code bewerken en uitvoeren