So sánh hiệu năng của mô hình đã lượng tử hóa
Hiểu cải thiện hiệu năng không chỉ là độ chính xác. Các mô hình đã lượng tử hóa thường cho thời gian suy luận nhanh hơn — một lợi ích quan trọng khi triển khai. Bạn sẽ đo thời gian cần để cả mô hình gốc và mô hình đã lượng tử hóa xử lý tập kiểm thử.
Hàm measure_time() đã được định nghĩa sẵn. Hàm đặt mô hình ở chế độ đánh giá, chạy lượt truyền xuôi trên tất cả batch trong dataloader và trả về thời gian đã trôi qua.
Cả model (mô hình gốc) và model_quantized (phiên bản đã lượng tử hóa) đều đã được nạp sẵn cùng với test_loader.
Bài tập này là một phần của khóa học
Mô hình AI có khả năng mở rộng với PyTorch Lightning
Hướng dẫn bài tập
- Tính thời gian suy luận cho mô hình gốc và mô hình đã lượng tử hóa.
- In cả hai thời gian, làm tròn đến hai chữ số thập phân.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")