实现 Leaky ReLU
虽然 ReLU 被广泛使用,但它会将负输入置为 0,导致这些值的梯度为零。这可能会使模型的部分参数无法学习。
Leaky ReLU 通过允许负输入保留一个很小的梯度来解决这一问题,其大小由 negative_slope 参数控制。负输入不会变成 0,而是按这个小系数进行缩放,从而保持模型的学习活性。
在本练习中,您将用 PyTorch 实现 Leaky ReLU 函数并练习使用它。torch 包以及 torch.nn(简称 nn)已为您导入。
本练习是课程的一部分
使用 PyTorch 的深度学习入门
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create a leaky relu function in PyTorch
leaky_relu_pytorch = ____
x = torch.tensor(-2.0)
# Call the above function on the tensor x
output = ____
print(output)