Adafactor cu Trainer

Antrenezi un model Transformer cu miliarde de parametri pentru serviciul tău de traducere automată. Resursele computaționale sunt suprasolicitate, așa că decizi să încerci optimizatorul Adafactor pentru a reduce cerințele de memorie față de AdamW. Pregătește Trainer-ul pentru Adafactor!

Câteva obiecte de antrenament au fost preîncărcate: model, train_dataset, validation_dataset și compute_metrics.

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Specifică Adafactor ca optimizator în TrainingArguments.
Transmite starea optimizatorului pentru a afișa dimensiunea acesteia.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Specify Adafactor as an optimizer
training_args = TrainingArguments(output_dir="./results",
                                  evaluation_strategy="epoch",
                                  optim="____")

trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics)
trainer.train()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(trainer.optimizer.state.____())
print(f"\nNumber of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")

Editează și rulează codul