Adam en 8 bits con Trainer
Ya has configurado un optimizador Adam en 8 bits y estás listo para usarlo en el entrenamiento. Prepara el Trainer para Adam en 8 bits.
Se han precargado algunos datos:
- El optimizador
adam_bnb_optim - Objetos de entrenamiento como
model,train_datasetytraining_args
Este ejercicio forma parte del curso
Entrenamiento eficiente de modelos de IA con PyTorch
Instrucciones del ejercicio
- Pasa el optimizador Adam en 8 bits al
Trainer.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
optimizers=(____, None))