Configurar los argumentos de entrenamiento de Llama
Tu tarea es trabajar con el modelo Llama que se usa en un chatbot de atención al cliente, ajustándolo mediante fine-tuning con datos de atención al cliente diseñados para preguntas y respuestas. Para obtener el mejor rendimiento posible, tu equipo ajustará un modelo Llama para esta tarea usando el conjunto de datos bitext.
Quieres hacer una prueba rápida del bucle de entrenamiento para comprobar que el script funciona. Así que empezarás configurando una tasa de aprendizaje pequeña y limitando el entrenamiento a unas pocas iteraciones en tus argumentos de entrenamiento.
Este ejercicio forma parte del curso
Ajuste fino con Llama 3
Instrucciones del ejercicio
- Importa e instancia la clase auxiliar para guardar tus argumentos de entrenamiento.
- Establece el argumento de entrenamiento para la tasa de aprendizaje a
2e-3.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)