8-битный Adam с Trainer

Вы настроили оптимизатор 8-битный Adam и готовы использовать его для обучения. Подготовьте Trainer для работы с 8-битным Adam!

Некоторые данные уже загружены:

Оптимизатор adam_bnb_optim
Объекты для обучения: model, train_dataset и training_args

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

Передайте оптимизатор 8-битный Adam в Trainer.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model, 
                  args=training_args, 
                  train_dataset=train_dataset, 
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics,
                  optimizers=(____, None))

Редактировать и запускать код

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Вы подготовите данные для распределённого обучения: разобьёте их между несколькими устройствами и скопируете модель на каждое из них. Accelerate предоставляет удобный интерфейс для подготовки данных. В качестве первого шага к распределённому обучению вы научитесь предобрабатывать изображения, аудио и текст.

Exercise 1: Подготовка моделей с AutoModel и Accelerator Exercise 2: Загрузка и изучение предобученных моделей Exercise 3: Автоматическое размещение на устройстве с помощью Accelerator Exercise 4: Предобработка изображений и аудио для обучения Exercise 5: Предобработка наборов данных с изображениями Exercise 6: Предобработка аудионаборов данных Exercise 7: Подготовка наборов данных к распределённому обучению Exercise 8: Предобработка текста для обучения Exercise 9: Предобработка текста с помощью AutoTokenizer Exercise 10: Сохранение и загрузка состояния предобработанного текста

При распределённом обучении каждое устройство обрабатывает свою часть данных параллельно. Вы рассмотрите два подхода: Accelerate, позволяющий настраивать циклы обучения вручную, и Trainer, упрощающий интерфейс для обучения моделей.

Exercise 1: Дообучение моделей с помощью Trainer Exercise 2: Определение метрик оценки Exercise 3: Указание параметров TrainingArguments Exercise 4: Настройка Trainer Exercise 5: Обучение моделей с помощью Accelerator Exercise 6: Подготовка модели к распределённому обучению Exercise 7: Цикл обучения до и после применения Accelerator Exercise 8: Построение цикла обучения с Accelerator Exercise 9: Оценка моделей с помощью Accelerator Exercise 10: Перевод модели в режим оценки Exercise 11: Запись метрик оценки

Большие модели и наборы данных создают серьёзную нагрузку на ресурсы при распределённом обучении. Справиться с этим помогут техники повышения эффективности: накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение со смешанной точностью.

Exercise 1: Накопление градиентов Exercise 2: Накопление градиентов с помощью Accelerator Exercise 3: Накопление градиентов с помощью Trainer Exercise 4: Градиентные контрольные точки и локальный SGD Exercise 5: Контрольные точки градиента с Accelerator Exercise 6: Градиентный чекпоинтинг с Trainer Exercise 7: Локальный SGD с Accelerator Exercise 8: Обучение со смешанной точностью Exercise 9: Обучение со смешанной точностью с использованием базового PyTorch Exercise 10: Обучение со смешанной точностью с помощью Accelerator Exercise 11: Обучение со смешанной точностью с помощью Trainer

Основное внимание уделяется оптимизаторам как инструментам повышения эффективности распределённого обучения. Вы сравните AdamW, Adafactor и 8-bit Adam, а также узнаете, как уменьшить объём памяти, занимаемой моделью, за счёт сокращения числа параметров или использования пониженной точности.

Exercise 1: Сбалансированное обучение с AdamW Exercise 2: AdamW с Trainer Exercise 3: AdamW с Accelerator Exercise 4: Вычисление размера оптимизатора Exercise 5: Эффективное по памяти обучение с Adafactor Exercise 6: Adafactor с Trainer Exercise 7: Adafactor с Accelerator Exercise 8: Обучение со смешанной точностью с 8-битным Adam Exercise 9: Настройка 8-битного оптимизатора Adam Exercise 10: 8-битный Adam с Trainer

Текущее упражнение

Exercise 11: 8-bit Adam с Accelerator Exercise 12: Какой это оптимизатор?Exercise 13: Поздравляем!