Adam 8-bit avec Trainer
Vous avez mis en place un optimiseur Adam 8 bits et vous êtes prêt à l'utiliser pour la formation. Préparez le site Trainer pour Adam 8-bit !
Certaines données ont été préchargées :
- L'optimiseur
adam_bnb_optim - Les objets de formation tels que
model,train_dataset, ettraining_args
Cet exercice fait partie du cours
Entraînement efficace de modèles d'IA avec PyTorch
Instructions
- Passez l'optimiseur Adam 8 bits à
Trainer.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
____=(____, None))