Сохранение и загрузка состояния предобработанного текста

Вы завершили предобработку набора данных с вопросами и ответами на сельскохозяйственную тематику — он поможет фермерам быстро находить решения типичных проблем. Чтобы сохранить результаты работы, вы решаете создать контрольные точки предобработанных текстовых данных и загрузить их.

Часть данных уже загружена:

dataloader содержит предобработанный набор данных с вопросами и ответами на сельскохозяйственную тематику
Accelerator импортирован из accelerate

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

Сохраните контрольную точку предобработанных данных в checkpoint_dir.
Загрузите контрольную точку из checkpoint_dir.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

accelerator = Accelerator()

dataloader = accelerator.prepare(dataloader)

checkpoint_dir = Path("preprocess_checkpoint")

# Save a checkpoint of the data
____.____(checkpoint_dir)

# Load from the checkpoint
____.____(checkpoint_dir)

Редактировать и запускать код

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

Вы подготовите данные для распределённого обучения: разобьёте их между несколькими устройствами и скопируете модель на каждое из них. Accelerate предоставляет удобный интерфейс для подготовки данных. В качестве первого шага к распределённому обучению вы научитесь предобрабатывать изображения, аудио и текст.

Exercise 1: Подготовка моделей с AutoModel и Accelerator Exercise 2: Загрузка и изучение предобученных моделей Exercise 3: Автоматическое размещение на устройстве с помощью Accelerator Exercise 4: Предобработка изображений и аудио для обучения Exercise 5: Предобработка наборов данных с изображениями Exercise 6: Предобработка аудионаборов данных Exercise 7: Подготовка наборов данных к распределённому обучению Exercise 8: Предобработка текста для обучения Exercise 9: Предобработка текста с помощью AutoTokenizer Exercise 10: Сохранение и загрузка состояния предобработанного текста

Текущее упражнение

При распределённом обучении каждое устройство обрабатывает свою часть данных параллельно. Вы рассмотрите два подхода: Accelerate, позволяющий настраивать циклы обучения вручную, и Trainer, упрощающий интерфейс для обучения моделей.

Exercise 1: Дообучение моделей с помощью Trainer Exercise 2: Определение метрик оценки Exercise 3: Указание параметров TrainingArguments Exercise 4: Настройка Trainer Exercise 5: Обучение моделей с помощью Accelerator Exercise 6: Подготовка модели к распределённому обучению Exercise 7: Цикл обучения до и после применения Accelerator Exercise 8: Построение цикла обучения с Accelerator Exercise 9: Оценка моделей с помощью Accelerator Exercise 10: Перевод модели в режим оценки Exercise 11: Запись метрик оценки

Большие модели и наборы данных создают серьёзную нагрузку на ресурсы при распределённом обучении. Справиться с этим помогут техники повышения эффективности: накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение со смешанной точностью.

Exercise 1: Накопление градиентов Exercise 2: Накопление градиентов с помощью Accelerator Exercise 3: Накопление градиентов с помощью Trainer Exercise 4: Градиентные контрольные точки и локальный SGD Exercise 5: Контрольные точки градиента с Accelerator Exercise 6: Градиентный чекпоинтинг с Trainer Exercise 7: Локальный SGD с Accelerator Exercise 8: Обучение со смешанной точностью Exercise 9: Обучение со смешанной точностью с использованием базового PyTorch Exercise 10: Обучение со смешанной точностью с помощью Accelerator Exercise 11: Обучение со смешанной точностью с помощью Trainer

Основное внимание уделяется оптимизаторам как инструментам повышения эффективности распределённого обучения. Вы сравните AdamW, Adafactor и 8-bit Adam, а также узнаете, как уменьшить объём памяти, занимаемой моделью, за счёт сокращения числа параметров или использования пониженной точности.

Exercise 1: Сбалансированное обучение с AdamW Exercise 2: AdamW с Trainer Exercise 3: AdamW с Accelerator Exercise 4: Вычисление размера оптимизатора Exercise 5: Эффективное по памяти обучение с Adafactor Exercise 6: Adafactor с Trainer Exercise 7: Adafactor с Accelerator Exercise 8: Обучение со смешанной точностью с 8-битным Adam Exercise 9: Настройка 8-битного оптимизатора Adam Exercise 10: 8-битный Adam с Trainer Exercise 11: 8-bit Adam с Accelerator Exercise 12: Какой это оптимизатор?Exercise 13: Поздравляем!