Реализация ReLU

Rectified Linear Unit (ReLU) — широко используемая функция активации в глубоком обучении, которая решает такие проблемы, как затухание градиентов.

В этом упражнении вы реализуете ReLU в PyTorch, применените её как к положительным, так и к отрицательным значениям и изучите результаты.

Пакет torch.nn уже импортирован для вас как nn.

Это упражнение является частью курса

Введение в глубокое обучение с PyTorch

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create a ReLU function with PyTorch
relu_pytorch = ____

Редактировать и запускать код

Это упражнение является частью курса

Введение в глубокое обучение с PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Беспилотные автомобили, смартфоны, поисковые системы — глубокое обучение стало частью повседневной жизни. Прежде чем приступить к созданию сложных моделей, вы освоите PyTorch — фреймворк для глубокого обучения. Вы научитесь работать с тензорами, создавать структуры данных PyTorch и построите свою первую нейронную сеть с линейными слоями.

Exercise 1: Введение в глубокое обучение с PyTorch Exercise 2: Первые шаги с тензорами PyTorch Exercise 3: Проверка и сложение тензоров Exercise 4: Нейронные сети и слои Exercise 5: Сеть с линейным слоем Exercise 6: Понимание весов Exercise 7: Скрытые слои и параметры Exercise 8: Ваша первая нейронная сеть Exercise 9: Стек линейных слоёв Exercise 10: Подсчёт числа параметров

Чтобы обучить нейронную сеть в PyTorch, нужно разобраться в её ключевых компонентах: функциях активации и функциях потерь. Вы узнаете, что обучение сети сводится к минимизации функции потерь, которая выполняется с помощью вычисления градиентов. Вы научитесь использовать эти градиенты для обновления параметров модели.

Exercise 1: Знакомство с функциями активации Exercise 2: Проверьте своё понимание!Exercise 3: Функции sigmoid и softmax Exercise 4: Прямой проход Exercise 5: Создание бинарного классификатора в PyTorch Exercise 6: От регрессии к многоклассовой классификации Exercise 7: Использование функций потерь для оценки предсказаний модели Exercise 8: Создание унитарно закодированных меток Exercise 9: Вычисление перекрёстной энтропии Exercise 10: Использование производных для обновления параметров модели Exercise 11: Доступ к параметрам модели Exercise 12: Обновление весов вручную Exercise 13: Использование оптимизатора PyTorch

Изучив основные компоненты нейронной сети, вы приступите к её обучению с помощью цикла обучения. Вы познакомитесь с возможными проблемами, такими как затухание градиентов, и способами их устранения: альтернативными функциями активации, а также настройкой скорости обучения и импульса.

Exercise 1: Загрузка данных: более глубокое погружение Exercise 2: Использование TensorDataset Exercise 3: Использование DataLoader Exercise 4: Пишем первый цикл обучения Exercise 5: Использование MSELoss Exercise 6: Написание цикла обучения Exercise 7: Функции активации ReLU Exercise 8: Реализация ReLU

Текущее упражнение

Exercise 9: Реализация Leaky ReLU Exercise 10: Понимание функций активации Exercise 11: Скорость обучения и импульс Exercise 12: Эксперименты со скоростью обучения Exercise 13: Эксперименты с моментом

Обучение модели глубокого обучения — это настоящее искусство. Чтобы убедиться в корректности обучения, необходимо отслеживать ключевые метрики: функцию потерь и точность. Вы научитесь вычислять эти метрики и бороться с переобучением.

Exercise 1: Инициализация слоёв и трансферное обучение Exercise 2: Процесс дообучения Exercise 3: Заморозка слоёв модели Exercise 4: Инициализация слоёв Exercise 5: Оценка производительности модели Exercise 6: Написание цикла оценки Exercise 7: Вычисление точности с помощью torchmetrics Exercise 8: Борьба с переобучением Exercise 9: Эксперименты с dropout Exercise 10: Понимание переобучения Exercise 11: Улучшение качества модели Exercise 12: Реализация случайного поиска Exercise 13: Заключительное видео