Använda LoRA-adaptrar
Du arbetar på ett startup-företag som tillhandahåller kundtjänstchatbotar som automatiskt löser enkla frågor från kunder.
Du har fått i uppgift att finjustera språkmodellen Maykeye/TinyLLama-v0 för att svara på kundtjänstfrågor med hjälp av datamängden bitext. Modellen ska användas i en chatbot som ditt team levererar. Träningsskriptet är nästan färdigt, men du vill integrera LoRA i finjusteringen – det är mer effektivt och gör att teamets träningspipeline går snabbare vid driftsättning.
Relevant modell, tokeniserare, datamängd och träningsargument har förinstagrats i model, tokenizer, dataset och training_arguments.
Den här övningen är en del av kursen
Finjustering med Llama 3
Övningsinstruktioner
- Importera LoRA-konfigurationen från tillhörande bibliotek.
- Instantiera LoRA-konfigurationsparametrarna med standardvärdena i
lora_config. - Integrera LoRA-parametrarna i SFTTrainer.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)