Applica il pruning a un livello lineare
Abbiamo addestrato un modello di classificazione di immagini usando un livello fully connected (lineare). Ora dobbiamo applicare un pruning non strutturato a questo livello per ridurre le dimensioni del modello senza incidere in modo significativo sulle prestazioni. Useremo il metodo l1_unstructured di PyTorch per questo compito.
Il modello è pre-caricato nella variabile model.
Questo esercizio fa parte del corso
Modelli di AI scalabili con PyTorch Lightning
Istruzioni dell'esercizio
- Importa il modulo di pruning da
torch.nn.utils. - Applica il pruning
l1_unstructuredamodel[3], il livello finale, e azzera il 30% dei pesi.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)