Gradientackumulering med Trainer
Du ska konfigurera Trainer för din språköversättningsmodell så att den använder gradientackumulering, vilket gör att du effektivt kan träna på större batcher. Modellen tränas på omformuleringar från MRPC-datamängden för att förenkla översättningar. Konfigurera träningsargumenten så att gradienter ackumuleras! Övningen tar en stund att köra när trainer.train() anropas.
model, dataset och funktionen compute_metrics() är fördefinierade.
Den här övningen är en del av kursen
Effektiv AI-modellträning med PyTorch
Övningsinstruktioner
- Ange antalet gradientackumuleringssteg till två.
- Skicka in träningsargumenten till
Trainer.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Set the number of gradient accumulation steps to two
____=____
)
trainer = Trainer(
model=model,
# Pass in the training arguments to Trainer
____=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics,
)
trainer.train()