Compararea performanței modelului cuantizat
Îmbunătățirile de performanță nu se rezumă doar la acuratețe. Modelele cuantizate oferă adesea timpi de inferență mai rapizi – un avantaj esențial în scenariile de deployment. Vei măsura cât timp le ia modelului original și celui cuantizat să proceseze setul de testare.
Funcția measure_time() este predefinită. Aceasta setează modelul în modul de evaluare, rulează o trecere înainte pe toate batch-urile din dataloader și returnează timpul scurs.
Atât model (modelul original), cât și model_quantized (versiunea cuantizată) sunt preîncărcate împreună cu test_loader.
Acest exercițiu face parte din cursul
Modele AI scalabile cu PyTorch Lightning
Instrucțiuni pentru exercițiu
- Calculează timpul de inferență pentru modelul original și pentru cel cuantizat.
- Afișează ambii timpi rotunjiți la două zecimale.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")