AdamW cu Trainer

Ești la începutul antrenării unui model Transformer pentru simplificarea traducerilor. Ca prim pas, decizi să folosești optimizatorul AdamW ca referință și interfața Trainer pentru o configurare rapidă. Configurează Trainer să utilizeze optimizer-ul AdamW.

AdamW a fost pre-importat din torch.optim. Câteva obiecte de antrenament au fost pre-încărcate: model, training_args, train_dataset, validation_dataset, compute_metrics.

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Transmite parametrii model-ului către optimizer-ul AdamW.
Transmite optimizer-ul către Trainer.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Pass the model parameters to the AdamW optimizer
optimizer = ____(params=____.____())

# Pass the optimizer to Trainer
trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  optimizers=(____, None),
                  compute_metrics=compute_metrics)

trainer.train()

Editează și rulează codul