Adam 8 bits avec Trainer

Vous avez configuré un optimiseur Adam 8 bits et vous êtes prêt à l’utiliser pour l’entraînement. Préparez le Trainer pour Adam 8 bits !

Des données ont été préchargées :

L’optimiseur adam_bnb_optim
Des objets d’entraînement comme model, train_dataset et training_args

Cet exercice fait partie du cours

Entraîner efficacement des modèles d’IA avec PyTorch

Afficher le cours

Instructions

Passez l’optimiseur Adam 8 bits au Trainer.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  ____=(____, None))

Modifier et exécuter le code