AdamW met Trainer

Je gaat een Transformer-model trainen om taalvertalingen te vereenvoudigen. Als eerste stap kies je de AdamW-optimizer als benchmark en gebruik je de Trainer-interface voor een snelle setup. Stel Trainer zo in dat de AdamW-optimizer wordt gebruikt.

AdamW is al vooraf geïmporteerd uit torch.optim. Een aantal trainingsobjecten zijn al geladen: model, training_args, train_dataset, validation_dataset, compute_metrics.

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Geef de model-parameters door aan de AdamW-optimizer.
Geef de optimizer door aan Trainer.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Code bewerken en uitvoeren