Применение динамического квантования

Вы успешно обучили нейронную сеть и готовитесь к её развёртыванию. Теперь нужно оптимизировать модель с помощью динамического квантования — это важный шаг для эффективного развёртывания в средах с ограниченными ресурсами.

Переменная model уже загружена.

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

Посмотреть курс

Инструкции к упражнению

Импортируйте необходимый модуль квантования из PyTorch.
Примените динамическое квантование, нацеленное на линейные слои, используя 8-битную целочисленную точность.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

import torch
# Import the necessary quantization module
from torch.quantization import ____

# Apply dynamic quantization targeting linear layers
model_quantized = torch.quantization.____(
    ____, {torch.nn.____}, dtype=torch.____
)

Редактировать и запускать код

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе мы рассмотрим, как PyTorch Lightning упрощает разработку и развёртывание масштабируемых моделей ИИ. Начав с базовых концепций, мы познакомимся с ключевыми элементами проекта на PyTorch Lightning — в том числе с компонентами LightningModule и Trainer, — чтобы заложить прочную основу для создания более сложных решений.

Exercise 1: Введение в PyTorch Lightning Exercise 2: Знакомство с LightningModule Exercise 3: Запуск Lightning Trainer Exercise 4: Определение моделей с помощью LightningModule Exercise 5: Назначение LightningModule Exercise 6: Метод __init__: основы инициализации Exercise 7: Реализация метода forward Exercise 8: Реализация логики обучения Exercise 9: Реализация шага обучения Exercise 10: Настройка оптимизатора Exercise 11: Обучение и оценка модели

В этой главе мы углубимся в PyTorch Lightning и научимся эффективно управлять данными и улучшать процесс обучения моделей. Вы узнаете, как создавать модульные и многократно используемые рабочие процессы с помощью LightningDataModule, как точно оценивать модели через валидацию и тестирование, а также как автоматизировать улучшение модели и избежать переобучения с помощью Lightning Callbacks.

Exercise 1: Управление данными с помощью LightningDataModule Exercise 2: Разделение данных с помощью LightningDataModule Exercise 3: Создание DataLoader для обучения Exercise 4: Валидация и тестирование модели Exercise 5: Реализация шага валидации Exercise 6: Оценка точности модели с помощью Torchmetrics Exercise 7: Улучшение обучения с помощью Lightning Callbacks Exercise 8: Классификация колбэков Lightning Exercise 9: Оптимизация обучения модели с помощью Lightning

Научитесь готовить модели глубокого обучения к реальному развёртыванию, делая их компактнее и быстрее. В этой главе рассматриваются такие техники, как динамическое квантование, прореживание и конвертация в TorchScript, которые помогут уменьшить размер модели и задержку без потери точности.

Exercise 1: Применение динамической квантизации Exercise 2: Применение динамического квантования

Текущее упражнение

Exercise 3: Сравнение производительности квантизованной модели Exercise 4: Реализация методов прореживания модели Exercise 5: Применение прунинга к линейному слою Exercise 6: Завершение прунинга: удаление маски Exercise 7: Экспорт моделей с помощью TorchScript Exercise 8: Выбор подходящего метода преобразования Exercise 9: Оптимизация моделей для масштабирования Exercise 10: Итоги: масштабируемые модели ИИ с PyTorch Lightning