Utilizarea adapterelor LoRA
Lucrezi la un startup care oferă chatbot-uri de servicii pentru clienți, capabile să rezolve automat întrebările simple ale utilizatorilor.
Ai fost desemnat să ajustezi (fine-tuning) modelul de limbaj Maykeye/TinyLLama-v0 pentru a răspunde la întrebări de tip servicii clienți, folosind setul de date bitext. Modelul va fi integrat într-un chatbot dezvoltat de echipa ta. Scriptul de antrenament este aproape gata, însă dorești să integrezi LoRA în procesul de fine-tuning, deoarece este mai eficient și va permite echipei tale să finalizeze pipeline-ul de antrenament mai rapid în timpul deployment-urilor.
Modelul, tokenizatorul, setul de date și argumentele de antrenament relevante au fost preîncărcate pentru tine în model, tokenizer, dataset și training_arguments.
Acest exercițiu face parte din cursul
Fine-Tuning cu Llama 3
Instrucțiuni pentru exercițiu
- Importă configurația LoRA din biblioteca asociată.
- Instanțiază parametrii de configurare LoRA folosind valorile implicite date pentru
lora_config. - Integrează parametrii LoRA în SFTTrainer.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)