НачатьНачать бесплатно

AdamW с Accelerator

Вы хотите настроить цикл обучения с помощью Accelerator и использовать AdamW в качестве базового оптимизатора для модели перевода текста. Постройте цикл обучения с использованием AdamW.

Некоторые объекты для обучения уже загружены и определены заранее: model, train_dataloader и accelerator.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Подготовьте объекты для распределённого обучения перед запуском цикла.
  • Обновите параметры модели внутри цикла обучения.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

optimizer = AdamW(params=model.parameters())

# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    # Update the model parameters
    ____.____()
    optimizer.zero_grad()
    print(f"Loss = {loss}")
Редактировать и запускать код