1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch Lightning으로 만드는 확장 가능한 AI 모델
Connected

연습 문제

선형 레이어에 가지치기 적용하기

완전 연결(선형) 레이어를 사용하는 이미지 분류 모델을 학습해 두었습니다. 이제 이 레이어에 비구조적 가지치기(unstructured pruning)를 적용해, 성능 저하 없이 모델 크기를 줄여 보려고 합니다. 이를 위해 PyTorch의 l1_unstructured 메서드를 사용하겠습니다.

모델은 model 변수에 미리 로드되어 있어요.

지침

100 XP
  • torch.nn.utils에서 가지치기 모듈을 import하세요.
  • 마지막 레이어인 model[3]에 l1_unstructured 가지치기를 적용하고, 가중치의 30%를 가지치기하세요.