8-bitowy Adam z Trainerem

Skonfigurowałeś już optymalizator 8-bitowy Adam i możesz go teraz użyć do trenowania. Przygotuj Trainer do pracy z 8-bitowym Adamem!

Następujące dane zostały wcześniej załadowane:

Optymalizator adam_bnb_optim
Obiekty treningowe: model, train_dataset i training_args

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Przekaż optymalizator 8-bitowy Adam do Trainer.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  optimizers=(____, None))

Edytuj i uruchom kod