Acumulación de gradiente con Entrenador
Estás configurando Trainer para que tu modelo de traducción lingüística utilice la acumulación de gradiente, de modo que puedas entrenar eficazmente en lotes más grandes. Tu modelo simplificará las traducciones entrenándose con las paráfrasis del conjunto de datos MRPC. ¡Configura los argumentos de entrenamiento para acumular gradientes! El ejercicio tardará algún tiempo en ejecutarse con la llamada a trainer.train().
Se han predefinido las funciones model, dataset y compute_metrics().
Este ejercicio forma parte del curso
Entrenamiento eficiente de modelos de IA con PyTorch
Instrucciones del ejercicio
- Establece el número de pasos de acumulación de gradiente en dos.
- Introduce los argumentos de entrenamiento en
Trainer.
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()