8-bit Adam with Trainer

You've set up an 8-bit Adam optimizer, and you're ready to use it for training. Prepare the Trainer for 8-bit Adam!

Some data has been pre-loaded:

The adam_bnb_optim optimizer
Training objects like model, train_dataset, and training_args

Deze oefening maakt deel uit van de cursus

Efficient AI Model Training with PyTorch

Cursus bekijken

Oefeninstructies

Pass the 8-bit Adam optimizer to the Trainer.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  ____=(____, None))

Code bewerken en uitvoeren