Adam 8-bit dengan Trainer
Anda telah menyiapkan optimizer Adam 8-bit, dan siap menggunakannya untuk pelatihan. Siapkan Trainer untuk Adam 8-bit!
Beberapa data telah dimuat sebelumnya:
- Optimizer
adam_bnb_optim - Objek pelatihan seperti
model,train_dataset, dantraining_args
Latihan ini merupakan bagian dari kursus
Pelatihan Model AI Efisien dengan PyTorch
Instruksi latihan
- Teruskan optimizer Adam 8-bit ke
Trainer.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
optimizers=(____, None))