比較量化後模型的效能
理解效能提升不僅是看準確率。量化後的模型通常能有更快的推論時間——這在部署情境中特別有價值。你將測量原始模型與量化後模型在處理測試集時所需的時間。
measure_time() 函式已預先定義。它會將模型設為評估模式，對資料載入器中的所有批次進行前向傳遞，並回傳經過的時間。
model（原始模型）與 model_quantized（量化版本）以及 test_loader 都已經載入。
本練習屬於課程
Scalable AI Models with PyTorch Lightning
練習說明
- 計算原始模型與量化後模型的推論時間。
- 印出兩個時間，四捨五入到小數點後 2 位。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")