Автоматичне розміщення на пристрої з Accelerator
Вашій розмовній моделі ШІ потрібно навчатися на величезному наборі даних, тож ви вирішили перенести модель на GPU. Ви використовуєте Accelerator для автоматичного вибору пристрою. Зверніть увагу: ця вправа фактично виконується на CPU, але код лишається таким самим і для запуску на GPU.
Модель на основі BERT уже завантажено в змінну model.
Ця вправа є частиною курсу
Ефективне тренування моделей ШІ з PyTorch
Інструкції до вправи
- Оголосіть об’єкт
accelerator, ініціалізувавши відповідний клас. - Використайте об’єкт
accelerator, щоб підготувати модель до розподіленого навчання з GPU.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)