Реализация метода forward

После того как слои определены в методе __init__, метод forward задаёт порядок, в котором данные через них проходят. В PyTorch Lightning такое разделение делает код чистым и удобным для сопровождения. Вы уже знакомы со структурой конструктора — теперь сосредоточимся на прямом проходе, чтобы логика классификации была понятной и оптимальной для обучения. Слои в __init__ уже определены, так что вы можете полностью сосредоточиться на потоке данных.

Библиотеки lightning.pytorch и torch.nn уже импортированы как pl и nn.

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

Посмотреть курс

Инструкции к упражнению

Реализуйте метод forward внутри класса ClassifierModel.
Примените активацию ReLU после скрытого слоя.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

class ClassifierModel(pl.LightningModule):
  
    def __init__(self, input_dim, hidden_dim, output_dim):
        super().__init__()
        self.hidden = nn.Linear(input_dim, hidden_dim)
        self.output = nn.Linear(hidden_dim, output_dim)
        
    # Define forward method
    def ____(self, ____):
        # Complete the forward pass
        x = self.hidden(x)
        x = ____(x)
        x = self.output(x)
        return x

Редактировать и запускать код

Это упражнение является частью курса

Масштабируемые модели ИИ с PyTorch Lightning

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе мы рассмотрим, как PyTorch Lightning упрощает разработку и развёртывание масштабируемых моделей ИИ. Начав с базовых концепций, мы познакомимся с ключевыми элементами проекта на PyTorch Lightning — в том числе с компонентами LightningModule и Trainer, — чтобы заложить прочную основу для создания более сложных решений.

Exercise 1: Введение в PyTorch Lightning Exercise 2: Знакомство с LightningModule Exercise 3: Запуск Lightning Trainer Exercise 4: Определение моделей с помощью LightningModule Exercise 5: Назначение LightningModule Exercise 6: Метод __init__: основы инициализации Exercise 7: Реализация метода forward

Текущее упражнение

Exercise 8: Реализация логики обучения Exercise 9: Реализация шага обучения Exercise 10: Настройка оптимизатора Exercise 11: Обучение и оценка модели

В этой главе мы углубимся в PyTorch Lightning и научимся эффективно управлять данными и улучшать процесс обучения моделей. Вы узнаете, как создавать модульные и многократно используемые рабочие процессы с помощью LightningDataModule, как точно оценивать модели через валидацию и тестирование, а также как автоматизировать улучшение модели и избежать переобучения с помощью Lightning Callbacks.

Exercise 1: Управление данными с помощью LightningDataModule Exercise 2: Разделение данных с помощью LightningDataModule Exercise 3: Создание DataLoader для обучения Exercise 4: Валидация и тестирование модели Exercise 5: Реализация шага валидации Exercise 6: Оценка точности модели с помощью Torchmetrics Exercise 7: Улучшение обучения с помощью Lightning Callbacks Exercise 8: Классификация колбэков Lightning Exercise 9: Оптимизация обучения модели с помощью Lightning

Научитесь готовить модели глубокого обучения к реальному развёртыванию, делая их компактнее и быстрее. В этой главе рассматриваются такие техники, как динамическое квантование, прореживание и конвертация в TorchScript, которые помогут уменьшить размер модели и задержку без потери точности.

Exercise 1: Применение динамической квантизации Exercise 2: Применение динамического квантования Exercise 3: Сравнение производительности квантизованной модели Exercise 4: Реализация методов прореживания модели Exercise 5: Применение прунинга к линейному слою Exercise 6: Завершение прунинга: удаление маски Exercise 7: Экспорт моделей с помощью TorchScript Exercise 8: Выбор подходящего метода преобразования Exercise 9: Оптимизация моделей для масштабирования Exercise 10: Итоги: масштабируемые модели ИИ с PyTorch Lightning