Especifica los TrainingArguments

Estás configurando el proceso de entrenamiento de tu modelo de lenguaje. TrainingArguments especifica los parámetros de entrada para Trainer. Este ejercicio proporciona valores para estos parámetros; en general, tendrás que ajustar los parámetros para un modelo. ¡Prepara los argumentos para que tu modelo use Trainer!

Se han precargado algunos datos:

output_dir es un directorio predefinido
La clase TrainingArguments se ha importado

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Define training_args usando la clase TrainingArguments.
Establece learning_rate en 2e-5 para afinar los pesos preentrenados de tu modelo.
Establece el tamaño del lote de entrenamiento por dispositivo en 16.
Establece evaluation_strategy para crear puntos de control de evaluación en cada epoch.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Editar y ejecutar código