ПочатиПочніть безкоштовно

Adafactor з Accelerator

Ви показали працездатний прототип Adafactor з Trainer, щоб тренувати вашу модель перекладу мов із меншими вимогами до пам’яті. Тепер ви хочете налаштувати власний цикл навчання за допомогою Accelerator. Побудуйте цикл навчання з використанням Adafactor!

Функцію compute_optimizer_size() уже визначено. Деякі об’єкти для навчання вже завантажено: model, train_dataloader і accelerator. Adafactor вже імпортовано з torch.optim.

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

Переглянути курс

Інструкції до вправи

  • Передайте параметри моделі до Adafactor під час оголошення optimizer.
  • Передайте стан оптимізатора, щоб вивести його розмір.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Pass the model parameters to Adafactor
optimizer = Adafactor(params=____.____())
model, optimizer, train_dataloader = accelerator.prepare(model, optimizer, train_dataloader)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    optimizer.step()
    optimizer.zero_grad()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(optimizer.state.____())
print(f"Number of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")
Редагувати та запускати код