Gradient checkpointing met Trainer
Je wilt gradient checkpointing gebruiken om het geheugengebruik van je model te verkleinen. Je hebt gezien hoe je de expliciete trainingslus met Accelerator schrijft, en nu wil je een vereenvoudigde interface zonder trainingslussen gebruiken met Trainer. De oefening zal even duren om uit te voeren door de aanroep trainer.train().
Stel de argumenten voor Trainer in zodat gradient checkpointing wordt gebruikt.
Deze oefening maakt deel uit van de cursus
Efficiënt AI-modellen trainen met PyTorch
Oefeninstructies
- Gebruik vier gradient accumulation-stappen in
TrainingArguments. - Schakel gradient checkpointing in in
TrainingArguments. - Geef de trainingsargumenten door aan
Trainer.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
training_args = TrainingArguments(output_dir="./results",
evaluation_strategy="epoch",
# Use four gradient accumulation steps
gradient_accumulation_steps=____,
# Enable gradient checkpointing
gradient_checkpointing=____)
trainer = Trainer(model=model,
# Pass in the training arguments
args=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()