선형 레이어에 가지치기 적용하기
완전 연결(선형) 레이어를 사용하는 이미지 분류 모델을 학습해 두었습니다. 이제 이 레이어에 비구조적 가지치기(unstructured pruning)를 적용해, 성능 저하 없이 모델 크기를 줄여 보려고 합니다. 이를 위해 PyTorch의 l1_unstructured 메서드를 사용하겠습니다.
모델은 model 변수에 미리 로드되어 있어요.
이 연습은 강의의 일부입니다
PyTorch Lightning으로 만드는 확장 가능한 AI 모델
연습 안내
torch.nn.utils에서 가지치기 모듈을 import하세요.- 마지막 레이어인
model[3]에l1_unstructured가지치기를 적용하고, 가중치의 30%를 가지치기하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)