НачатьНачать бесплатно

Обучение со смешанной точностью с помощью Accelerator

Вы хотите упростить цикл обучения PyTorch для модели перевода текста, используя Accelerator для обучения со смешанной точностью. Постройте новый цикл обучения с применением Accelerator!

Некоторые объекты уже загружены: dataset, model, dataloader и optimizer.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Включите обучение со смешанной точностью в формате FP16 в Accelerator.
  • Подготовьте объекты для обучения со смешанной точностью перед запуском цикла.
  • Вычислите градиенты функции потерь для обучения со смешанной точностью.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")

# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Compute the gradients of the loss
    ____.____(loss)
    optimizer.step()
    optimizer.zero_grad()
Редактировать и запускать код