8-bit Adam met Trainer

Je hebt een 8-bit Adam-optimizer ingesteld en bent klaar om ermee te trainen. Bereid de Trainer voor op 8-bit Adam!

Er is al wat data vooraf geladen:

De optimizer adam_bnb_optim
Trainingsobjecten zoals model, train_dataset en training_args

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Geef de 8-bit Adam-optimizer door aan de Trainer.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  optimizers=(____, None))

Code bewerken en uitvoeren