1. Learn
    2. /
  2. 课程
    3. /
  3. 使用 PyTorch 的深度学习入门
Connected

道练习

实现 Leaky ReLU

虽然 ReLU 被广泛使用，但它会将负输入置为 0，导致这些值的梯度为零。这可能会使模型的部分参数无法学习。

Leaky ReLU 通过允许负输入保留一个很小的梯度来解决这一问题，其大小由 negative_slope 参数控制。负输入不会变成 0，而是按这个小系数进行缩放，从而保持模型的学习活性。

在本练习中，您将用 PyTorch 实现 Leaky ReLU 函数并练习使用它。torch 包以及 torch.nn（简称 nn）已为您导入。

说明 1 / 共 2 个

undefined XP
    1
    2
  • 在 PyTorch 中创建一个负斜率为 0.05 的 Leaky ReLU 函数。
  • 调用该函数处理张量 x，该张量已为您预先定义。