Adam en 8 bits con Trainer
Ya has configurado un optimizador Adam en 8 bits y estás listo para usarlo en el entrenamiento. Prepara el Trainer para Adam en 8 bits.
Se han precargado algunos datos:
- El optimizador
adam_bnb_optim - Objetos de entrenamiento como
model,train_datasetytraining_args
Este ejercicio forma parte del curso
Entrenamiento eficiente de modelos de IA con PyTorch
Instrucciones del ejercicio
- Pasa el optimizador Adam en 8 bits al
Trainer.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
____=(____, None))