Usando adaptadores LoRA
Você trabalha em uma startup que oferece chatbots de atendimento ao cliente que resolvem automaticamente perguntas simples que os clientes possam ter.
Sua tarefa é fazer o fine-tuning do modelo de linguagem Maykeye/TinyLLama-v0 para responder perguntas de suporte ao cliente usando o conjunto de dados bitext. Esse modelo será usado em um chatbot fornecido pela sua equipe. O script de treinamento já está quase completo, mas você quer integrar LoRA ao seu fine-tuning, pois é mais eficiente e permitirá que o pipeline de treinamento da sua equipe seja concluído mais rapidamente durante as implantações.
O modelo, o tokenizador, o conjunto de dados e os argumentos de treinamento relevantes já foram pré-carregados para você em model, tokenizer, dataset e training_arguments.
Este exercicio faz parte do curso
Ajuste Fino com Llama 3
Instruções do exercicio
- Importe a configuração do LoRA da biblioteca associada.
- Instancie os parâmetros de configuração do LoRA com os padrões fornecidos em
lora_config. - Integre os parâmetros do LoRA no SFTTrainer.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)