Gradient checkpointing s Trainerem
Chceš použít gradient checkpointing ke snížení paměťové náročnosti modelu. Viděl/a jsi, jak napsat explicitní tréninkovou smyčku s Accelerator, a teď bys chtěl/a použít jednodušší rozhraní bez tréninkových smyček pomocí Trainer. Volání trainer.train() chvíli poběží.
Nastav argumenty pro Trainer tak, aby používal gradient checkpointing.
Toto cvičení je součástí kurzu
Efficient AI Model Training with PyTorch
Pokyny k cvičení
- V
TrainingArgumentsnastav čtyři kroky akumulace gradientů. - V
TrainingArgumentspovol gradient checkpointing. - Předej trénovací argumenty do
Trainer.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
training_args = TrainingArguments(output_dir="./results",
evaluation_strategy="epoch",
# Use four gradient accumulation steps
gradient_accumulation_steps=____,
# Enable gradient checkpointing
gradient_checkpointing=____)
trainer = Trainer(model=model,
# Pass in the training arguments
args=____,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()