Функции активации: ReLU и ELU

Выбор функций активации в модели (в сочетании с соответствующей инициализацией весов) может существенно влиять на процесс обучения. В частности, правильная функция активации способна предотвратить проблему нестабильных градиентов в нейронной сети.

В предыдущем упражнении вы перешли с ReLU на ELU. Помните, какие характеристики этих двух функций активации обосновывают такую замену?

Это упражнение является частью курса

Глубокое обучение на PyTorch: средний уровень

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Глубокое обучение на PyTorch: средний уровень

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Научитесь обучать нейронные сети надёжными методами. В этой главе вы будете использовать объектно-ориентированное программирование для определения наборов данных и моделей в PyTorch, а также освежите знания об обучении и оценке нейронных сетей. Вы познакомитесь с различными оптимизаторами и освоите техники, которые помогают справляться с проблемой нестабильных градиентов — одной из самых распространённых трудностей при обучении нейронных сетей.

Exercise 1: PyTorch и объектно-ориентированное программирование Exercise 2: Набор данных PyTorch Exercise 3: DataLoader в PyTorch Exercise 4: Модель PyTorch Exercise 5: Оптимизаторы, обучение и оценка модели Exercise 6: Цикл обучения Exercise 7: Оптимизаторы Exercise 8: Оценка модели Exercise 9: Затухающие и взрывные градиенты Exercise 10: Инициализация и функции активации Exercise 11: Функции активации: ReLU и ELU

Текущее упражнение

Exercise 12: Пакетная нормализация

Обучите нейронные сети решать задачи классификации изображений. В этой главе вы узнаете, как работать с изображениями в PyTorch, и освоите сверточные нейронные сети (CNN). Вы будете практиковаться в обучении и оценке классификатора изображений, а также узнаете, как улучшить качество модели с помощью аугментации данных.

Exercise 1: Работа с изображениями в PyTorch Exercise 2: Набор данных изображений Exercise 3: Аугментация данных Exercise 4: Аугментация данных в PyTorch Exercise 5: Свёрточные нейронные сети Exercise 6: Свёрточный слой Exercise 7: Построение свёрточных сетей Exercise 8: Обучение классификаторов изображений Exercise 9: Выбор методов аугментации Exercise 10: Набор данных с аугментациями Exercise 11: Цикл обучения классификатора изображений Exercise 12: Оценка качества классификаторов изображений Exercise 13: Оценка многоклассовой модели Exercise 14: Анализ метрик по классам

Создайте и обучите рекуррентные нейронные сети (RNN) для обработки последовательных данных — временных рядов, текстов или аудио. Вы изучите две наиболее популярные рекуррентные архитектуры: сети с долгой краткосрочной памятью (LSTM) и управляемые рекуррентные блоки (GRU), а также научитесь подготавливать последовательные данные для обучения моделей. Полученные навыки вы закрепите, обучив и оценив рекуррентную модель для прогнозирования потребления электроэнергии.

Exercise 1: Работа с последовательностями в PyTorch Exercise 2: Генерация последовательностей Exercise 3: Последовательный набор данных Exercise 4: Рекуррентные нейронные сети Exercise 5: Архитектуры для последовательных данных Exercise 6: Построение прогнозирующей РНС Exercise 7: Ячейки LSTM и GRU Exercise 8: RNN, LSTM и GRU: сравнение Exercise 9: Сеть LSTM Exercise 10: Сеть GRU Exercise 11: Обучение и оценка рекуррентных нейронных сетей Exercise 12: Цикл обучения RNN Exercise 13: Оценка моделей прогнозирования

Создайте модели с несколькими входами и несколькими выходами, которые справляются с задачами, требующими более одного входа или генерирующими несколько выходов. Вы изучите, как проектировать и обучать такие модели в PyTorch, а также подробно разберёте важную тему взвешивания функций потерь в моделях с несколькими выходами. Это предполагает понимание того, как балансировать значимость различных задач при одновременном обучении модели нескольким из них.

Exercise 1: Модели с несколькими входами Exercise 2: Набор данных с двумя входами Exercise 3: Модель с двумя входами Exercise 4: Обучение модели с двумя входами Exercise 5: Модели с несколькими выходами Exercise 6: Набор данных и DataLoader с двумя выходами Exercise 7: Архитектура модели с двумя выходами Exercise 8: Обучение моделей с несколькими выходами Exercise 9: Оценка моделей с несколькими выходами и взвешивание потерь Exercise 10: Оценка модели с несколькими выходами Exercise 11: Взвешивание функции потерь Exercise 12: Подведение итогов