Treinamento de precisão mista com o Trainer
Você deseja simplificar a interface de treinamento para treinamento de precisão mista. Como alternativa aos loops de treinamento com Accelerator, você decidiu criar Trainer, pois seu modelo não exige loops de treinamento personalizados. Configure o site Trainer para usar o treinamento de precisão misto! O exercício levará algum tempo para ser executado com a chamada para trainer.train().
Este exercício faz parte do curso
Treinamento eficiente de modelos de IA com PyTorch
Instruções do exercício
- Habilite o treinamento de precisão mista para
Trainer.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
# Enable mixed precision training
____=____
)
trainer = Trainer(model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["validation"],
compute_metrics=compute_metrics)
trainer.train()