Comparaison des performances des modèles quantifiés
Comprendre les améliorations en matière de performances ne se limite pas à la précision. Les modèles quantifiés offrent souvent des temps d'inférence plus rapides, ce qui constitue un avantage clé dans les scénarios de déploiement. Vous mesurerez le temps nécessaire aux modèles original et quantifié pour traiter l'ensemble de test.
La fonction d'measure_time() a été prédéfinie. Il met le modèle en mode évaluation, exécute une passe avant sur tous les lots du chargeur de données et renvoie le temps écoulé.
model (le modèle original) et model_quantized (la version quantifiée) sont préchargés avec test_loader.
Cet exercice fait partie du cours
Modèles d'IA évolutifs avec PyTorch Lightning
Instructions
- Calculez le temps d'inférence pour les modèles originaux et quantifiés.
- Veuillez imprimer les deux valeurs arrondies à deux décimales.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Measure inference time of the original model
original_time = measure_time(____)
# Measure inference time of the quantized model
quant_time = measure_time(____)
# Print results
print(f"Original Model Time: {____}s")
print(f"Quantized Model Time: {____}s")