AdamW s Trainerem

Začínáš trénovat model Transformer pro zjednodušování jazykových překladů. Jako první krok se rozhodneš použít optimalizátor AdamW jako benchmark a rozhraní Trainer pro rychlé nastavení. Nakonfiguruj Trainer tak, aby používal optimizer AdamW.

AdamW je předem importován z torch.optim. Některé tréninkové objekty jsou předem načteny: model, training_args, train_dataset, validation_dataset, compute_metrics.

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Předej parametry model optimalizátoru AdamW.
Předej optimizer do Trainer.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Upravit a spustit kód