AdamW mit Trainer

Du beginnst damit, ein Transformer-Modell zu trainieren, das Sprachübersetzungen vereinfacht. Als ersten Schritt entscheidest du dich, den AdamW-Optimierer als Benchmark zu verwenden und die Trainer-Schnittstelle für ein schnelles Setup zu nutzen. Richte Trainer so ein, dass der AdamW-optimizer verwendet wird.

AdamW wurde bereits aus torch.optim importiert. Einige Trainingsobjekte wurden bereits geladen: model, training_args, train_dataset, validation_dataset, compute_metrics.

Diese Übung ist Teil des Kurses

<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>

Kurs ansehen

Übungsanweisungen

Übergib die model-Parameter an den AdamW-optimizer.
Übergib den optimizer an Trainer.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Code bearbeiten und ausführen