1. Learn
    2. /
  2. 课程
    3. /
  3. PyTorch 深度学习进阶
Connected

道练习

初始化与激活函数

不稳定梯度（梯度消失或爆炸）是训练深层神经网络时常见的挑战。在本题及接下来的练习中，您将扩展此前为饮用水可饮用性分类任务构建的模型结构，使其更能抵御这些问题。

第一步，使用 He（Kaiming）初始化策略来改进权重初始化。为此，您需要从 torch.nn.init 模块调用合适的初始化器，该模块已作为 init 导入。接着，您还将把激活函数从默认的 ReLU 更新为通常效果更好的 ELU。

说明

100 XP
  • 对第二层 fc2 的权重属性调用 He（Kaiming）初始化，与 fc1 的用法相同。
  • 对第三层 fc3 的权重属性调用 He（Kaiming）初始化，并考虑最后一层所用激活函数不同的情况。
  • 在 forward() 方法中将激活函数由 relu 更新为 elu。