1. Apprendre
    2. /
  2. Cours
    3. /
  3. Ajustement fin avec Llama 3
Connected

Exercice

Accélérer l'inférence dans des modèles quantifiés

Votre entreprise utilise depuis un certain temps un modèle Llama pour son agent conversationnel de service à la clientèle, avec quantification. L'une des plus grandes plaintes des clients est que le robot répond très lentement et produit parfois des réponses étranges.

Vous soupçonnez que cela pourrait être dû à une quantification en 4 bits sans normalisation. Dans votre analyse, vous supposez aussi que le compromis de vitesse vient des calculs d'inférence, qui utilisent des flottants 32 bits.

Vous voulez ajuster les configurations de quantification pour améliorer la vitesse d'inférence de votre modèle. Les importations suivantes ont déjà été chargées : AutoModelForCausalLM, AutoTokenizer et BitsAndBytesConfig.

Instructions

100 XP
  • Définissez le type de quantification à 4 bits normalisé pour réduire les valeurs aberrantes et ainsi produire moins de réponses dénuées de sens.
  • Réglez le type de calcul à bfloat16 pour accélérer les vitesses de calcul à l'inférence.