Автоматическое размещение на устройстве с помощью Accelerator

Ваша разговорная модель ИИ должна обучаться на большом наборе данных, поэтому вы решили перенести её на GPU. Для автоматического размещения на устройстве вы используете Accelerator. Обратите внимание: это упражнение фактически выполняется на CPU, однако код остаётся таким же, как и при работе на GPU.

Модель на основе BERT предварительно загружена как model.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

Объявите объект accelerator, создав экземпляр подходящего класса.
Используйте объект accelerator, чтобы подготовить модель к распределённому обучению на GPU.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

from accelerate import Accelerator

# Declare an accelerator object
accelerator = ____()

# Prepare the model for distributed training
model = accelerator.____(model)

print(accelerator.device)

Редактировать и запускать код

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Вы подготовите данные для распределённого обучения: разобьёте их между несколькими устройствами и скопируете модель на каждое из них. Accelerate предоставляет удобный интерфейс для подготовки данных. В качестве первого шага к распределённому обучению вы научитесь предобрабатывать изображения, аудио и текст.

Exercise 1: Подготовка моделей с AutoModel и Accelerator Exercise 2: Загрузка и изучение предобученных моделей Exercise 3: Автоматическое размещение на устройстве с помощью Accelerator

Текущее упражнение

Exercise 4: Предобработка изображений и аудио для обучения Exercise 5: Предобработка наборов данных с изображениями Exercise 6: Предобработка аудионаборов данных Exercise 7: Подготовка наборов данных к распределённому обучению Exercise 8: Предобработка текста для обучения Exercise 9: Предобработка текста с помощью AutoTokenizer Exercise 10: Сохранение и загрузка состояния предобработанного текста

При распределённом обучении каждое устройство обрабатывает свою часть данных параллельно. Вы рассмотрите два подхода: Accelerate, позволяющий настраивать циклы обучения вручную, и Trainer, упрощающий интерфейс для обучения моделей.

Exercise 1: Дообучение моделей с помощью Trainer Exercise 2: Определение метрик оценки Exercise 3: Указание параметров TrainingArguments Exercise 4: Настройка Trainer Exercise 5: Обучение моделей с помощью Accelerator Exercise 6: Подготовка модели к распределённому обучению Exercise 7: Цикл обучения до и после применения Accelerator Exercise 8: Построение цикла обучения с Accelerator Exercise 9: Оценка моделей с помощью Accelerator Exercise 10: Перевод модели в режим оценки Exercise 11: Запись метрик оценки

Большие модели и наборы данных создают серьёзную нагрузку на ресурсы при распределённом обучении. Справиться с этим помогут техники повышения эффективности: накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение со смешанной точностью.

Exercise 1: Накопление градиентов Exercise 2: Накопление градиентов с помощью Accelerator Exercise 3: Накопление градиентов с помощью Trainer Exercise 4: Градиентные контрольные точки и локальный SGD Exercise 5: Контрольные точки градиента с Accelerator Exercise 6: Градиентный чекпоинтинг с Trainer Exercise 7: Локальный SGD с Accelerator Exercise 8: Обучение со смешанной точностью Exercise 9: Обучение со смешанной точностью с использованием базового PyTorch Exercise 10: Обучение со смешанной точностью с помощью Accelerator Exercise 11: Обучение со смешанной точностью с помощью Trainer

Основное внимание уделяется оптимизаторам как инструментам повышения эффективности распределённого обучения. Вы сравните AdamW, Adafactor и 8-bit Adam, а также узнаете, как уменьшить объём памяти, занимаемой моделью, за счёт сокращения числа параметров или использования пониженной точности.

Exercise 1: Сбалансированное обучение с AdamW Exercise 2: AdamW с Trainer Exercise 3: AdamW с Accelerator Exercise 4: Вычисление размера оптимизатора Exercise 5: Эффективное по памяти обучение с Adafactor Exercise 6: Adafactor с Trainer Exercise 7: Adafactor с Accelerator Exercise 8: Обучение со смешанной точностью с 8-битным Adam Exercise 9: Настройка 8-битного оптимизатора Adam Exercise 10: 8-битный Adam с Trainer Exercise 11: 8-bit Adam с Accelerator Exercise 12: Какой это оптимизатор?Exercise 13: Поздравляем!