Uso de adaptadores LoRA
Trabajas en una startup que ofrece chatbots de atención al cliente que resuelven automáticamente preguntas sencillas que puedan tener los clientes.
Te han encargado ajustar finamente el modelo de lenguaje Maykeye/TinyLLama-v0 para responder preguntas de atención al cliente usando el conjunto de datos bitext. Este modelo se usará en un chatbot que proporciona tu equipo. El script de entrenamiento ya está casi completo, pero quieres integrar LoRA en tu fine-tuning, ya que es más eficiente y permitiría que la canalización de entrenamiento de tu equipo termine más rápido durante los despliegues.
El modelo, el tokenizador, el conjunto de datos y los argumentos de entrenamiento relevantes ya se han cargado para ti en model, tokenizer, dataset y training_arguments.
Este ejercicio forma parte del curso
Ajuste fino con Llama 3
Instrucciones del ejercicio
- Importa la configuración de LoRA desde la biblioteca asociada.
- Instancia los parámetros de configuración de LoRA con los valores predeterminados en
lora_config. - Integra los parámetros de LoRA en SFTTrainer.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)