Реализация Leaky ReLU
ReLU широко применяется, однако у неё есть ограничение: отрицательные входные значения она обнуляет, что приводит к нулевым градиентам для этих значений. Из-за этого часть модели может перестать обучаться.
Leaky ReLU решает эту проблему, допуская небольшие градиенты для отрицательных входных значений. Их величина задаётся параметром negative_slope. Вместо нуля отрицательные входные значения умножаются на это небольшое число, что позволяет модели продолжать обучение.
В этом упражнении вы реализуете функцию Leaky ReLU в PyTorch и потренируетесь её применять. Пакет torch, а также torch.nn с псевдонимом nn уже импортированы.
Это упражнение является частью курса
Введение в глубокое обучение с PyTorch
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)