Kuantize edilmiş model performansını karşılaştırma
Performans iyileştirmelerini anlamak sadece doğrulukla ilgili değildir. Kuantize edilmiş modeller genellikle daha hızlı çıkarım süreleri sunar — bu da dağıtım senaryolarında önemli bir avantajdır. Hem orijinal hem de kuantize edilmiş modellerin test kümesini işlemesinin ne kadar sürdüğünü ölçeceksin.
measure_time() fonksiyonu önceden tanımlandı. Modeli değerlendirme moduna alır, veri yükleyicideki tüm yığınlar üzerinde bir ileri geçiş çalıştırır ve geçen süreyi döndürür.
model (orijinal model) ve model_quantized (kuantize edilmiş sürüm) ile test_loader önceden yüklendi.
Bu egzersiz, kursun bir parçasıdır
PyTorch Lightning ile Ölçeklenebilir AI Modelleri
Egzersiz talimatları
- Orijinal ve kuantize edilmiş modeller için çıkarım süresini hesapla.
- Her iki süreyi de iki ondalığa yuvarlanmış olarak yazdır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")