НачатьНачать бесплатно

Adafactor с Accelerator

Вы продемонстрировали работоспособность Adafactor совместно с Trainer для обучения модели машинного перевода с уменьшенными требованиями к памяти. Теперь вы хотите настроить цикл обучения с помощью Accelerator. Реализуйте цикл обучения с использованием Adafactor!

Функция compute_optimizer_size() уже определена. Некоторые объекты для обучения предварительно загружены: model, train_dataloader и accelerator. Класс Adafactor уже импортирован из torch.optim.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Передайте параметры модели в Adafactor при определении optimizer.
  • Передайте состояние оптимизатора для вывода его размера.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Pass the model parameters to Adafactor
optimizer = Adafactor(params=____.____())
model, optimizer, train_dataloader = accelerator.prepare(model, optimizer, train_dataloader)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    optimizer.step()
    optimizer.zero_grad()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(optimizer.state.____())
print(f"Number of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")
Редактировать и запускать код