Adam de 8 bits com Trainer

Você configurou um otimizador Adam de 8 bits e está pronto para usá-lo no treino. Prepare o Trainer para o Adam de 8 bits!

Alguns dados já foram pré-carregados:

O otimizador adam_bnb_optim
Objetos de treino como model, train_dataset e training_args

Este exercício faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercício

Passe o otimizador Adam de 8 bits para o Trainer.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  ____=(____, None))

Editar e executar o código