Обучение со смешанной точностью с 8-битным Adam

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Вы подготовите данные для распределённого обучения: разобьёте их между несколькими устройствами и скопируете модель на каждое из них. Accelerate предоставляет удобный интерфейс для подготовки данных. В качестве первого шага к распределённому обучению вы научитесь предобрабатывать изображения, аудио и текст.

Exercise 1: Подготовка моделей с AutoModel и Accelerator Exercise 2: Загрузка и изучение предобученных моделей Exercise 3: Автоматическое размещение на устройстве с помощью Accelerator Exercise 4: Предобработка изображений и аудио для обучения Exercise 5: Предобработка наборов данных с изображениями Exercise 6: Предобработка аудионаборов данных Exercise 7: Подготовка наборов данных к распределённому обучению Exercise 8: Предобработка текста для обучения Exercise 9: Предобработка текста с помощью AutoTokenizer Exercise 10: Сохранение и загрузка состояния предобработанного текста

При распределённом обучении каждое устройство обрабатывает свою часть данных параллельно. Вы рассмотрите два подхода: Accelerate, позволяющий настраивать циклы обучения вручную, и Trainer, упрощающий интерфейс для обучения моделей.

Exercise 1: Дообучение моделей с помощью Trainer Exercise 2: Определение метрик оценки Exercise 3: Указание параметров TrainingArguments Exercise 4: Настройка Trainer Exercise 5: Обучение моделей с помощью Accelerator Exercise 6: Подготовка модели к распределённому обучению Exercise 7: Цикл обучения до и после применения Accelerator Exercise 8: Построение цикла обучения с Accelerator Exercise 9: Оценка моделей с помощью Accelerator Exercise 10: Перевод модели в режим оценки Exercise 11: Запись метрик оценки

Большие модели и наборы данных создают серьёзную нагрузку на ресурсы при распределённом обучении. Справиться с этим помогут техники повышения эффективности: накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение со смешанной точностью.

Exercise 1: Накопление градиентов Exercise 2: Накопление градиентов с помощью Accelerator Exercise 3: Накопление градиентов с помощью Trainer Exercise 4: Градиентные контрольные точки и локальный SGD Exercise 5: Контрольные точки градиента с Accelerator Exercise 6: Градиентный чекпоинтинг с Trainer Exercise 7: Локальный SGD с Accelerator Exercise 8: Обучение со смешанной точностью Exercise 9: Обучение со смешанной точностью с использованием базового PyTorch Exercise 10: Обучение со смешанной точностью с помощью Accelerator Exercise 11: Обучение со смешанной точностью с помощью Trainer

Основное внимание уделяется оптимизаторам как инструментам повышения эффективности распределённого обучения. Вы сравните AdamW, Adafactor и 8-bit Adam, а также узнаете, как уменьшить объём памяти, занимаемой моделью, за счёт сокращения числа параметров или использования пониженной точности.

Exercise 1: Сбалансированное обучение с AdamW Exercise 2: AdamW с Trainer Exercise 3: AdamW с Accelerator Exercise 4: Вычисление размера оптимизатора Exercise 5: Эффективное по памяти обучение с Adafactor Exercise 6: Adafactor с Trainer Exercise 7: Adafactor с Accelerator Exercise 8: Обучение со смешанной точностью с 8-битным Adam

Текущее упражнение

Exercise 9: Настройка 8-битного оптимизатора Adam Exercise 10: 8-битный Adam с Trainer Exercise 11: 8-bit Adam с Accelerator Exercise 12: Какой это оптимизатор?Exercise 13: Поздравляем!