Adafactor с Trainer

Вы обучаете трансформерную модель с миллиардами параметров для сервиса машинного перевода. Это создаёт серьёзную нагрузку на вычислительные ресурсы, поэтому вы решаете попробовать оптимизатор Adafactor, чтобы снизить потребление памяти по сравнению с AdamW. Настройте Trainer для работы с Adafactor!

Некоторые объекты для обучения уже загружены: model, train_dataset, validation_dataset и compute_metrics.

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

Укажите Adafactor в качестве оптимизатора в TrainingArguments.
Передайте состояние оптимизатора для вывода его размера.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Specify Adafactor as an optimizer
training_args = TrainingArguments(output_dir="./results",
                                  evaluation_strategy="epoch",
                                  optim="____")

trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics)
trainer.train()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(trainer.optimizer.state.____())
print(f"\nNumber of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")

Редактировать и запускать код

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Вы подготовите данные для распределённого обучения: разобьёте их между несколькими устройствами и скопируете модель на каждое из них. Accelerate предоставляет удобный интерфейс для подготовки данных. В качестве первого шага к распределённому обучению вы научитесь предобрабатывать изображения, аудио и текст.

Exercise 1: Подготовка моделей с AutoModel и Accelerator Exercise 2: Загрузка и изучение предобученных моделей Exercise 3: Автоматическое размещение на устройстве с помощью Accelerator Exercise 4: Предобработка изображений и аудио для обучения Exercise 5: Предобработка наборов данных с изображениями Exercise 6: Предобработка аудионаборов данных Exercise 7: Подготовка наборов данных к распределённому обучению Exercise 8: Предобработка текста для обучения Exercise 9: Предобработка текста с помощью AutoTokenizer Exercise 10: Сохранение и загрузка состояния предобработанного текста

При распределённом обучении каждое устройство обрабатывает свою часть данных параллельно. Вы рассмотрите два подхода: Accelerate, позволяющий настраивать циклы обучения вручную, и Trainer, упрощающий интерфейс для обучения моделей.

Exercise 1: Дообучение моделей с помощью Trainer Exercise 2: Определение метрик оценки Exercise 3: Указание параметров TrainingArguments Exercise 4: Настройка Trainer Exercise 5: Обучение моделей с помощью Accelerator Exercise 6: Подготовка модели к распределённому обучению Exercise 7: Цикл обучения до и после применения Accelerator Exercise 8: Построение цикла обучения с Accelerator Exercise 9: Оценка моделей с помощью Accelerator Exercise 10: Перевод модели в режим оценки Exercise 11: Запись метрик оценки

Большие модели и наборы данных создают серьёзную нагрузку на ресурсы при распределённом обучении. Справиться с этим помогут техники повышения эффективности: накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение со смешанной точностью.

Exercise 1: Накопление градиентов Exercise 2: Накопление градиентов с помощью Accelerator Exercise 3: Накопление градиентов с помощью Trainer Exercise 4: Градиентные контрольные точки и локальный SGD Exercise 5: Контрольные точки градиента с Accelerator Exercise 6: Градиентный чекпоинтинг с Trainer Exercise 7: Локальный SGD с Accelerator Exercise 8: Обучение со смешанной точностью Exercise 9: Обучение со смешанной точностью с использованием базового PyTorch Exercise 10: Обучение со смешанной точностью с помощью Accelerator Exercise 11: Обучение со смешанной точностью с помощью Trainer

Основное внимание уделяется оптимизаторам как инструментам повышения эффективности распределённого обучения. Вы сравните AdamW, Adafactor и 8-bit Adam, а также узнаете, как уменьшить объём памяти, занимаемой моделью, за счёт сокращения числа параметров или использования пониженной точности.

Exercise 1: Сбалансированное обучение с AdamW Exercise 2: AdamW с Trainer Exercise 3: AdamW с Accelerator Exercise 4: Вычисление размера оптимизатора Exercise 5: Эффективное по памяти обучение с Adafactor Exercise 6: Adafactor с Trainer

Текущее упражнение

Exercise 7: Adafactor с Accelerator Exercise 8: Обучение со смешанной точностью с 8-битным Adam Exercise 9: Настройка 8-битного оптимизатора Adam Exercise 10: 8-битный Adam с Trainer Exercise 11: 8-bit Adam с Accelerator Exercise 12: Какой это оптимизатор?Exercise 13: Поздравляем!