Завершение прунинга: удаление маски

После прунинга модели необходимо завершить этот процесс, прежде чем сохранять или развёртывать её. Для этого нужно удалить маску прунинга, чтобы модель больше не отслеживала обнулённые веса. Используйте prune.remove(), чтобы выполнить этот шаг.

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

Посмотреть курс

Инструкции к упражнению

Завершите прунинг параметра весов.
Используйте prune.remove(), чтобы удалить маску и сохранить итоговые веса.
Выведите модель на экран, чтобы убедиться, что маска прунинга удалена.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

import torch.nn.utils.prune as prune
# Before pruning
print(model)
# Finalize pruning by removing the pruning mask
prune.____(model[3], "____")
# Print model structure after pruning
print(____)

Редактировать и запускать код

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе мы рассмотрим, как PyTorch Lightning упрощает разработку и развёртывание масштабируемых моделей ИИ. Начав с базовых концепций, мы познакомимся с ключевыми элементами проекта на PyTorch Lightning — в том числе с компонентами LightningModule и Trainer, — чтобы заложить прочную основу для создания более сложных решений.

Exercise 1: Введение в PyTorch Lightning Exercise 2: Знакомство с LightningModule Exercise 3: Запуск Lightning Trainer Exercise 4: Определение моделей с помощью LightningModule Exercise 5: Назначение LightningModule Exercise 6: Метод __init__: основы инициализации Exercise 7: Реализация метода forward Exercise 8: Реализация логики обучения Exercise 9: Реализация шага обучения Exercise 10: Настройка оптимизатора Exercise 11: Обучение и оценка модели

В этой главе мы углубимся в PyTorch Lightning и научимся эффективно управлять данными и улучшать процесс обучения моделей. Вы узнаете, как создавать модульные и многократно используемые рабочие процессы с помощью LightningDataModule, как точно оценивать модели через валидацию и тестирование, а также как автоматизировать улучшение модели и избежать переобучения с помощью Lightning Callbacks.

Exercise 1: Управление данными с помощью LightningDataModule Exercise 2: Разделение данных с помощью LightningDataModule Exercise 3: Создание DataLoader для обучения Exercise 4: Валидация и тестирование модели Exercise 5: Реализация шага валидации Exercise 6: Оценка точности модели с помощью Torchmetrics Exercise 7: Улучшение обучения с помощью Lightning Callbacks Exercise 8: Классификация колбэков Lightning Exercise 9: Оптимизация обучения модели с помощью Lightning

Научитесь готовить модели глубокого обучения к реальному развёртыванию, делая их компактнее и быстрее. В этой главе рассматриваются такие техники, как динамическое квантование, прореживание и конвертация в TorchScript, которые помогут уменьшить размер модели и задержку без потери точности.

Exercise 1: Применение динамической квантизации Exercise 2: Применение динамического квантования Exercise 3: Сравнение производительности квантизованной модели Exercise 4: Реализация методов прореживания модели Exercise 5: Применение прунинга к линейному слою Exercise 6: Завершение прунинга: удаление маски

Текущее упражнение

Exercise 7: Экспорт моделей с помощью TorchScript Exercise 8: Выбор подходящего метода преобразования Exercise 9: Оптимизация моделей для масштабирования Exercise 10: Итоги: масштабируемые модели ИИ с PyTorch Lightning