LoRA-adapters gebruiken
Je werkt bij een startup die klantenservice-chatbots levert die automatisch simpele vragen van klanten afhandelen.
Jij moet het taalmodel Maykeye/TinyLLama-v0 fine-tunen om klantenservicevragen te beantwoorden met de bitext-gegevensset. Dit model wordt gebruikt in een chatbot die jouw team aanbiedt. Het trainingsscript is bijna klaar, maar je wilt LoRA integreren in je fine-tuning, omdat dat efficiënter is en ervoor zorgt dat de training van je pipeline tijdens deployments sneller klaar is.
Het relevante model, de tokenizer, de gegevensset en de trainingsargumenten zijn al voor je geladen in model, tokenizer, dataset en training_arguments.
Deze oefening maakt deel uit van de cursus
Fijn-afstemmen met Llama 3
Oefeninstructies
- Importeer de LoRA-configuratie uit de bijbehorende bibliotheek.
- Maak de LoRA-configuratieparameters aan met de standaardwaarden in
lora_config. - Integreer de LoRA-parameters in SFTTrainer.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)