1. Обучение
    2. /
  2. Курса
    3. /
  3. Введение в глубокое обучение с PyTorch
Connected

упражнение

Реализация Leaky ReLU

ReLU широко применяется, однако у неё есть ограничение: отрицательные входные значения она обнуляет, что приводит к нулевым градиентам для этих значений. Из-за этого часть модели может перестать обучаться.

Leaky ReLU решает эту проблему, допуская небольшие градиенты для отрицательных входных значений. Их величина задаётся параметром negative_slope. Вместо нуля отрицательные входные значения умножаются на это небольшое число, что позволяет модели продолжать обучение.

В этом упражнении вы реализуете функцию Leaky ReLU в PyTorch и потренируетесь её применять. Пакет torch, а также torch.nn с псевдонимом nn уже импортированы.

Инструкции 1/2

undefined XP
    1
    2
  • Создайте функцию Leaky ReLU в PyTorch с отрицательным наклоном 0,05.
  • Вызовите функцию на тензоре x, который уже определён для вас.