AdamW mit Trainer

Du beginnst damit, ein Transformer-Modell zu trainieren, das Übersetzungen vereinfacht. Als ersten Schritt nutzt du den AdamW-Optimizer als Benchmark und die Trainer-Schnittstelle für ein schnelles Setup. Richte Trainer so ein, dass der AdamW-optimizer verwendet wird.

AdamW wurde bereits aus torch.optim importiert. Einige Trainingsobjekte wurden vorausgeladen: model, training_args, train_dataset, validation_dataset, compute_metrics.

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

Übergib die model-Parameter an den AdamW-optimizer.
Übergib den optimizer an Trainer.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  ____=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Code bearbeiten und ausführen