Реалізація ReLU
Виправлена лінійна одиниця (ReLU) — це широко вживана функція активації в глибокому навчанні, яка розв'язує проблеми на кшталт зникання градієнтів.
У цій вправі ви реалізуєте ReLU в PyTorch, застосуєте її до додатних і від'ємних значень та проаналізуєте результати.
Пакет torch.nn уже імпортовано для вас як nn.
Ця вправа є частиною курсу
Вступ до Deep Learning з PyTorch
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create a ReLU function with PyTorch
relu_pytorch = ____