ПочатиПочніть безкоштовно

Adafactor із Trainer

Ви навчаєте модель Transformer з мільярдами параметрів для вашого сервісу перекладу. Це перевантажує ваші обчислювальні ресурси, тож ви вирішили спробувати оптимізатор Adafactor, щоб зменшити вимоги до памʼяті порівняно з AdamW. Підготуйте Trainer до роботи з Adafactor!

Деякі об’єкти для тренування вже завантажені: model, train_dataset, validation_dataset і compute_metrics.

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

Переглянути курс

Інструкції до вправи

  • Укажіть Adafactor як оптимізатор у TrainingArguments.
  • Передайте стан оптимізатора, щоб вивести розмір.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Specify Adafactor as an optimizer
training_args = TrainingArguments(output_dir="./results",
                                  evaluation_strategy="epoch",
                                  optim="____")

trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics)
trainer.train()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(trainer.optimizer.state.____())
print(f"\nNumber of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")
Редагувати та запускати код