Especifica los TrainingArguments

Estás configurando el proceso de entrenamiento de tu modelo de lenguaje. TrainingArguments especifica los parámetros de entrada para Trainer. Este ejercicio proporciona valores para estos parámetros; en general, tendrás que ajustar los parámetros para un modelo. ¡Prepara los argumentos para que tu modelo use Trainer!

Se ha precargado parte de la información:

output_dir es un directorio predefinido
La clase TrainingArguments se ha importado

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Define training_args usando la clase TrainingArguments.
Establece learning_rate en 2e-5 para afinar los pesos preentrenados de tu modelo.
Establece el tamaño del lote de entrenamiento por dispositivo en cada dispositivo en 16.
Configura los puntos de evaluación en cada "epoch".

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Define training_args using a transformers class
training_args = ____(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    ____=____,
    # Set train batch size on each device to 16
    ____=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    ____="____",
)

Editar y ejecutar código