Pode uma camada linear
A gente treinou um modelo de classificação de imagens usando uma camada totalmente conectada (linear). Agora, a gente precisa aplicar a poda não estruturada nessa camada pra reduzir o tamanho do modelo sem afetar muito o desempenho. Vamos usar o método “ l1_unstructured ” do PyTorch pra essa tarefa.
O modelo já vem carregado como uma variável model.
Este exercicio faz parte do curso
Modelos de IA escaláveis com PyTorch Lightning
Instruções do exercicio
- Importa o módulo de poda de
torch.nn.utils. - Faz uma poda “
l1_unstructured” em “model[3]”, a última camada, e corta 30% dos pesos.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)