AdamW z Trainerem

Zaczynasz trenować model Transformer do upraszczania tłumaczeń językowych. W pierwszym kroku decydujesz się użyć optymalizatora AdamW jako punktu odniesienia oraz interfejsu Trainer do szybkiej konfiguracji. Skonfiguruj Trainer, aby korzystał z optymalizatora optimizer typu AdamW.

AdamW został wcześniej zaimportowany z torch.optim. Następujące obiekty treningowe zostały wstępnie załadowane: model, training_args, train_dataset, validation_dataset, compute_metrics.

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Przekaż parametry model do optymalizatora AdamW optimizer.
Przekaż optimizer do Trainer.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Edytuj i uruchom kod