Adam de 8 bits con Entrenador
Has configurado un optimizador Adam de 8 bits y estás listo para utilizarlo para entrenar. ¡Prepara la Trainer para Adam de 8 bits!
Se han precargado algunos datos:
- El optimizador
adam_bnb_optim - Objetos de entrenamiento como
model,train_dataset, ytraining_args
Este ejercicio forma parte del curso
Entrenamiento eficiente de modelos de IA con PyTorch
Instrucciones del ejercicio
- Pasa el optimizador Adam de 8 bits a
Trainer.
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
____=(____, None))