Charger des modèles en 8 bits
Votre entreprise utilise un modèle Llama pour son assistant virtuel de service à la clientèle depuis un moment. On vous a confié la tâche de réduire l'utilisation de la mémoire GPU du modèle sans nuire de façon notable à la performance. Cela permettra à l'équipe de passer à un grappe de calcul moins coûteuse et de faire économiser beaucoup d'argent à l'entreprise.
Vous décidez de vérifier s'il est possible de charger votre modèle avec une quantification en 8 bits tout en conservant une performance raisonnable.
Le modèle vous est fourni dans model_name. AutoModelForCausalLM et AutoTokenizer sont déjà importés pour vous.
Cette activité fait partie du cours
Ajustement fin avec Llama 3
Instructions de l’exercice
- Importez la classe de configuration pour activer le chargement de modèles avec quantification.
- Instanciez la classe de configuration de quantification.
- Réglez les paramètres de quantification pour charger le modèle en 8 bits.
- Passez la configuration de quantification à
AutoModelForCausalLMpour charger le modèle quantifié.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import quantization configuration class
from ____ import ____
# Instantiate quantization configuration
bnb_config = ____(
# Set 8-bit loading
____=True,
)
model = AutoModelForCausalLM.from_pretrained(
"Maykeye/TinyLLama-v0",
# Set quantization parameters to load quantized model
____=bnb_config,
low_cpu_mem_usage=True
)