AdamW con Trainer

Stai iniziando ad addestrare un modello Transformer per semplificare le traduzioni linguistiche. Come primo passo, decidi di usare l'ottimizzatore AdamW come benchmark e l'interfaccia Trainer per una configurazione rapida. Configura Trainer per usare l'optimizer AdamW.

AdamW è già stato importato da torch.optim. Alcuni oggetti per l'addestramento sono già stati caricati: model, training_args, train_dataset, validation_dataset, compute_metrics.

Questo esercizio fa parte del corso

Efficient AI Model Training with PyTorch

Visualizza corso

Istruzioni dell'esercizio

Passa i parametri di model all'optimizer AdamW.
Passa l'optimizer a Trainer.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Modifica ed esegui il codice