Adam a 8 bit con Trainer
Hai configurato un ottimizzatore Adam a 8 bit e sei pronto per usarlo nell'addestramento. Prepara il Trainer per Adam a 8 bit!
Alcuni dati sono già stati caricati:
- L'ottimizzatore
adam_bnb_optim - Oggetti di training come
model,train_datasetetraining_args
Questo esercizio fa parte del corso
Efficient AI Model Training with PyTorch
Istruzioni dell'esercizio
- Passa l'ottimizzatore Adam a 8 bit al
Trainer.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
optimizers=(____, None))