동적 양자화 적용하기
배포를 위해 신경망 모델 학습을 마쳤고, 이제 동적 양자화로 최적화하려고 합니다. 이 단계는 자원이 제한된 환경에서 모델을 효율적으로 배포하는 데 매우 중요합니다.
model은 미리 로드되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch Lightning으로 만드는 확장 가능한 AI 모델
연습 안내
- PyTorch에서 필요한 양자화 모듈을 임포트하세요.
- 선형 레이어를 대상으로, 8비트 정밀도 정수로 동적 양자화를 적용하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
import torch
# Import the necessary quantization module
from torch.quantization import ____
# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
____, {torch.nn.____}, dtype=torch.____
)