양자화된 모델 성능 비교
성능 향상을 이해하는 것은 정확도만의 문제는 아닙니다. 양자화된 모델은 추론 속도가 더 빠른 경우가 많아, 배포 환경에서 큰 이점이 됩니다. 원본 모델과 양자화된 모델이 테스트 세트를 처리하는 데 걸리는 시간을 이번에 측정해 보겠습니다.
measure_time() 함수는 미리 정의되어 있습니다. 이 함수는 모델을 평가 모드로 전환하고, 데이터로더의 모든 배치에 대해 forward 패스를 수행한 뒤, 경과 시간을 반환합니다.
model(원본 모델)과 model_quantized(양자화된 버전), 그리고 test_loader는 모두 미리 로드되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch Lightning으로 만드는 확장 가능한 AI 모델
연습 안내
- 원본 모델과 양자화된 모델의 추론 시간을 계산하세요.
- 두 시간을 소수점 둘째 자리까지 반올림해 출력하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")