Реалізація leaky ReLU
Хоча ReLU широко використовується, вона перетворює від'ємні вхідні значення на 0, що призводить до нульових градієнтів для цих значень. Це може заважати окремим частинам моделі навчатися.
Leaky ReLU долає цю проблему, дозволяючи невеликі градієнти для від'ємних входів, які контролюються параметром negative_slope. Замість 0 від'ємні значення масштабуються на цю малу величину, тож навчання моделі не припиняється.
У цій вправі ви реалізуєте функцію leaky ReLU в PyTorch і потренуєтеся її використовувати. Пакет torch, а також torch.nn як nn уже імпортовано.
Ця вправа є частиною курсу
Вступ до Deep Learning з PyTorch
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)