Adam de 8 bits com treinador

Você configurou um otimizador Adam de 8 bits e está pronto para usá-lo para treinamento. Prepare o Trainer para o Adam de 8 bits!

Alguns dados foram pré-carregados:

O otimizador adam_bnb_optim
Objetos de treinamento como model, train_dataset e training_args

Este exercício faz parte do curso

Treinamento eficiente de modelos de IA com PyTorch

Ver curso

Instruções do exercício

Passe o otimizador Adam de 8 bits para o site Trainer.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  ____=(____, None))

Editar e executar o código