Підготуйте моделі за допомогою AutoModel і Accelerator

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Ця вправа є частиною курсу

Ефективне тренування моделей ШІ з PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Почніть курс безкоштовно

Ви підготуєте дані для розподіленого тренування, розділивши їх між кількома пристроями та скопіювавши модель на кожен пристрій. Accelerator надає зручний інтерфейс для підготовки даних. Ви навчитеся попередньо обробляти зображення, аудіо та текст як перший крок у розподіленому тренуванні.

Exercise 1: Підготуйте моделі за допомогою AutoModel і Accelerator

Поточна вправа

Exercise 2: Завантаження та огляд попередньо натренованих моделей Exercise 3: Автоматичне розміщення на пристрої з Accelerator Exercise 4: Передобробка зображень і аудіо для тренування Exercise 5: Попередня обробка наборів даних із зображеннями Exercise 6: Попередня обробка аудіонаборів даних Exercise 7: Підготуйте набори даних для розподіленого навчання Exercise 8: Попередня обробка тексту для навчання Exercise 9: Попередня обробка тексту з AutoTokenizer Exercise 10: Збереження й завантаження стану попередньо обробленого тексту

У розподіленому тренуванні кожен пристрій паралельно навчається на своїх даних. Ви розглянете два способи розподіленого тренування: Accelerator дає змогу створювати власні цикли тренування, а Trainer спрощує інтерфейс для навчання.

Exercise 1: Доналаштування моделей за допомогою Trainer Exercise 2: Визначте метрики оцінювання Exercise 3: Задайте TrainingArguments Exercise 4: Налаштуйте Trainer Exercise 5: Навчайте моделі з Accelerator Exercise 6: Підготуйте модель до розподіленого навчання Exercise 7: Тренувальні цикли до та після Accelerator Exercise 8: Створення тренувального циклу з Accelerator Exercise 9: Оцінюйте моделі за допомогою Accelerator Exercise 10: Переведення моделі в режим оцінювання Exercise 11: Журналювання метрик оцінювання

Розподілене тренування навантажує ресурси великими моделями та наборами даних, але ці виклики можна подолати, поліпшивши використання пам’яті, обмін даними між пристроями та обчислювальну ефективність. Ви ознайомитеся з прийомами акумулювання градієнтів, градієнтного контрольного збереження (gradient checkpointing), локального стохастичного градієнтного спуску та тренування зі змішаною точністю.

Exercise 1: Накопичення градієнтів Exercise 2: Акумуляція градієнтів з Accelerator Exercise 3: Накопичення градієнтів із Trainer Exercise 4: Gradient checkpointing і локальний SGD Exercise 5: Gradient checkpointing з Accelerator Exercise 6: Gradient checkpointing з Trainer Exercise 7: Local SGD з Accelerator Exercise 8: Навчання зі змішаною точністю Exercise 9: Навчання зі змішаною точністю в базовому PyTorch Exercise 10: Навчання зі змішаною точністю з Accelerator Exercise 11: Навчання зі змішаною точністю з Trainer

Ви зосередитеся на оптимізаторах як важелях підвищення ефективності розподіленого тренування, розглянувши компроміси між AdamW, Adafactor і 8-bit Adam. Зменшення кількості параметрів або використання низької точності допомагає скоротити обсяг пам’яті, потрібної моделі.

Exercise 1: Збалансоване тренування з AdamW Exercise 2: AdamW із Trainer Exercise 3: AdamW з Accelerator Exercise 4: Обчисліть розмір оптимізатора Exercise 5: Памʼяткоощадне навчання з Adafactor Exercise 6: Adafactor із Trainer Exercise 7: Adafactor з Accelerator Exercise 8: Навчання зі змішаною точністю з 8-bit Adam Exercise 9: Налаштуйте оптимізатор 8-bit Adam Exercise 10: 8-бітний Adam із Trainer Exercise 11: 8-bit Adam з Accelerator Exercise 12: Який це оптимізатор?Exercise 13: Вітаємо!