Uso degli adapter LoRA
Lavori in una startup che fornisce chatbot di assistenza clienti in grado di risolvere automaticamente le domande più semplici poste dagli utenti.
Ti è stato affidato il compito di eseguire il fine-tuning del modello linguistico Maykeye/TinyLLama-v0 per rispondere a domande di assistenza clienti usando il dataset bitext. Questo modello sarà usato in un chatbot fornito dal tuo team. Lo script di training è già quasi completo, ma vuoi integrare LoRA nel tuo fine-tuning, perché è più efficiente e permette alla pipeline di training del tuo team di concludersi più rapidamente durante i deploy.
Il modello, il tokenizer, il dataset e gli argomenti di training rilevanti sono già stati caricati per te in model, tokenizer, dataset e training_arguments.
Questo esercizio fa parte del corso
Fine-tuning con Llama 3
Istruzioni dell'esercizio
- Importa la configurazione LoRA dalla libreria associata.
- Istanzia i parametri di configurazione LoRA con i valori predefiniti assegnati a
lora_config. - Integra i parametri LoRA in SFTTrainer.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)