Especifica los TrainingArguments

Estás configurando el proceso de entrenamiento de tu modelo lingüístico. TrainingArguments especifica los parámetros de entrada para Trainer. Este ejercicio proporciona valores para estos parámetros; generalmente, tendrás que afinar los parámetros para un modelo. ¡Prepara los argumentos para que tu modelo utilice Trainer!

Se han precargado algunos datos:

output_dir es un directorio predefinido
Se ha importado la clase TrainingArguments

Este ejercicio forma parte del curso

Entrenamiento eficiente de modelos de IA con PyTorch

Ver curso

Instrucciones del ejercicio

Define training_args utilizando la clase TrainingArguments.
Configura learning_rate en 2e-5 para afinar los pesos preentrenados de tu modelo.
Establece el tamaño del lote de entrenamiento por dispositivo en cada dispositivo en 16.
Establece los puntos de control de evaluación para cada "epoch".

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Define training_args using a transformers class
training_args = ____(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    ____=____,
    # Set train batch size on each device to 16
    ____=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    ____="____",
)

Editar y ejecutar código