Применение прунинга к линейному слою

Мы обучили модель классификации изображений с полносвязным (линейным) слоем. Теперь нам предстоит применить неструктурированный прунинг к этому слою, чтобы уменьшить размер модели без существенной потери качества. Для этого воспользуемся методом l1_unstructured из PyTorch.

Модель предварительно загружена в переменную model.

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

Посмотреть курс

Инструкции к упражнению

Импортируйте модуль прунинга из torch.nn.utils.
Примените прунинг l1_unstructured к слою model[3] (финальный слой) и удалите 30% весов.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import pruning module
import torch.nn.utils.prune as ____
# Before pruning
print(model)
# Apply L1 unstructured pruning to model[3]
prune.____(model[3], name="____", amount=____)
# After pruning
print(model)

Редактировать и запускать код

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе мы рассмотрим, как PyTorch Lightning упрощает разработку и развёртывание масштабируемых моделей ИИ. Начав с базовых концепций, мы познакомимся с ключевыми элементами проекта на PyTorch Lightning — в том числе с компонентами LightningModule и Trainer, — чтобы заложить прочную основу для создания более сложных решений.

Exercise 1: Введение в PyTorch Lightning Exercise 2: Знакомство с LightningModule Exercise 3: Запуск Lightning Trainer Exercise 4: Определение моделей с помощью LightningModule Exercise 5: Назначение LightningModule Exercise 6: Метод __init__: основы инициализации Exercise 7: Реализация метода forward Exercise 8: Реализация логики обучения Exercise 9: Реализация шага обучения Exercise 10: Настройка оптимизатора Exercise 11: Обучение и оценка модели

В этой главе мы углубимся в PyTorch Lightning и научимся эффективно управлять данными и улучшать процесс обучения моделей. Вы узнаете, как создавать модульные и многократно используемые рабочие процессы с помощью LightningDataModule, как точно оценивать модели через валидацию и тестирование, а также как автоматизировать улучшение модели и избежать переобучения с помощью Lightning Callbacks.

Exercise 1: Управление данными с помощью LightningDataModule Exercise 2: Разделение данных с помощью LightningDataModule Exercise 3: Создание DataLoader для обучения Exercise 4: Валидация и тестирование модели Exercise 5: Реализация шага валидации Exercise 6: Оценка точности модели с помощью Torchmetrics Exercise 7: Улучшение обучения с помощью Lightning Callbacks Exercise 8: Классификация колбэков Lightning Exercise 9: Оптимизация обучения модели с помощью Lightning

Научитесь готовить модели глубокого обучения к реальному развёртыванию, делая их компактнее и быстрее. В этой главе рассматриваются такие техники, как динамическое квантование, прореживание и конвертация в TorchScript, которые помогут уменьшить размер модели и задержку без потери точности.

Exercise 1: Применение динамической квантизации Exercise 2: Применение динамического квантования Exercise 3: Сравнение производительности квантизованной модели Exercise 4: Реализация методов прореживания модели Exercise 5: Применение прунинга к линейному слою

Текущее упражнение

Exercise 6: Завершение прунинга: удаление маски Exercise 7: Экспорт моделей с помощью TorchScript Exercise 8: Выбор подходящего метода преобразования Exercise 9: Оптимизация моделей для масштабирования Exercise 10: Итоги: масштабируемые модели ИИ с PyTorch Lightning