AdamW med Trainer

Du ska börja träna en Transformer-modell för att förenkla språköversättningar. Som ett första steg väljer du att använda AdamW-optimeraren som riktmärke och Trainer-gränssnittet för snabb konfiguration. Ställ in Trainer så att den använder AdamW-optimizer.

AdamW har importerats i förväg från torch.optim. Några träningsobjekt har förinslästs: model, training_args, train_dataset, validation_dataset, compute_metrics.

Den här övningen är en del av kursen

Effektiv AI-modellträning med PyTorch

Visa kurs

Övningsinstruktioner

Skicka model-parametrarna till AdamW-optimizer.
Skicka optimizer till Trainer.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Redigera och kör kod