Comparación del rendimiento del modelo cuantificado
Comprender las mejoras en el rendimiento no se trata solo de precisión. Los modelos cuantificados suelen ofrecer tiempos de inferencia más rápidos, lo que supone una ventaja clave en escenarios de implementación. Medirás el tiempo que tardan tanto el modelo original como el cuantificado en procesar el conjunto de prueba.
Se ha predefinido la función « measure_time() ». Establece el modelo en modo de evaluación, ejecuta una pasada hacia adelante en todos los lotes del cargador de datos y devuelve el tiempo transcurrido.
Tanto model (el modelo original) como model_quantized (la versión cuantificada) están precargados junto con test_loader.
Este ejercicio forma parte del curso
Modelos de IA escalables con PyTorch Lightning
Instrucciones del ejercicio
- Calcula el tiempo de inferencia para los modelos originales y cuantificados.
- Imprime ambos valores redondeados a dos decimales.
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")