양자화된 모델 성능 비교

성능 향상을 이해하는 것은 정확도만의 문제는 아닙니다. 양자화된 모델은 추론 속도가 더 빠른 경우가 많아, 배포 환경에서 큰 이점이 됩니다. 원본 모델과 양자화된 모델이 테스트 세트를 처리하는 데 걸리는 시간을 이번에 측정해 보겠습니다.

measure_time() 함수는 미리 정의되어 있습니다. 이 함수는 모델을 평가 모드로 전환하고, 데이터로더의 모든 배치에 대해 forward 패스를 수행한 뒤, 경과 시간을 반환합니다.

model(원본 모델)과 model_quantized(양자화된 버전), 그리고 test_loader는 모두 미리 로드되어 있습니다.