激活函数:ReLU 与 ELU
模型中所用的激活函数选择(再结合相应的权重初始化)会显著影响训练过程。合适的激活函数可以避免网络出现梯度不稳定的问题。
在上一道练习中,您把 ReLU 换成了 ELU。您还记得这两种激活函数有哪些特性支撑了这一改动吗?
本练习是课程的一部分
模型中所用的激活函数选择(再结合相应的权重初始化)会显著影响训练过程。合适的激活函数可以避免网络出现梯度不稳定的问题。
在上一道练习中,您把 ReLU 换成了 ELU。您还记得这两种激活函数有哪些特性支撑了这一改动吗?
本练习是课程的一部分