Încărcarea modelelor pe 8 biți
Compania ta folosește de ceva vreme un model Llama pentru chatbot-ul de servicii clienți. Ai primit sarcina de a găsi o modalitate de a reduce consumul de memorie GPU al modelului, fără a afecta semnificativ performanța. Astfel, echipa ar putea trece la un cluster de calcul mai ieftin și ar economisi bani considerabili.
Decizi să testezi dacă poți încărca modelul cu cuantizare pe 8 biți și să menții o performanță rezonabilă.
Modelul îți este furnizat în model_name. AutoModelForCausalLM și AutoTokenizer sunt deja importate.
Acest exercițiu face parte din cursul
Fine-Tuning cu Llama 3
Instrucțiuni pentru exercițiu
- Importă clasa de configurare care permite încărcarea modelelor cu cuantizare.
- Instanțiază clasa de configurare a cuantizării.
- Configurează parametrii de cuantizare pentru a încărca modelul pe 8 biți.
- Transmite configurația de cuantizare către
AutoModelForCausalLMpentru a încărca modelul cuantizat.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import quantization configuration class
from ____ import ____
# Instantiate quantization configuration
bnb_config = ____(
# Set 8-bit loading
____=True,
)
model = AutoModelForCausalLM.from_pretrained(
"Maykeye/TinyLLama-v0",
# Set quantization parameters to load quantized model
____=bnb_config,
low_cpu_mem_usage=True
)