Adam pe 8 biți cu Trainer

Ai configurat un optimizer Adam pe 8 biți și ești gata să îl folosești pentru antrenament. Pregătește Trainer-ul pentru Adam pe 8 biți!

Unele date au fost preîncărcate:

Optimizerul adam_bnb_optim
Obiectele de antrenament: model, train_dataset și training_args

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Transmite optimizerul Adam pe 8 biți către Trainer.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  optimizers=(____, None))

Editează și rulează codul