南京邮电大学学报(自然科学版)

作者：夏正新,苏　翀

单位：南京邮电大学 继续教育学院，江苏 南京　210042；南京邮电大学 医疗信息工程研究中心，江苏 南京　210042南京邮电大学 管理学院，江苏 南京　210003；南京邮电大学 医疗信息工程研究中心，江苏 南京　210042

关键词：激活函数；门控机制；深度神经网络

激活函数通过自身的非线性机制去激活神经网络，使其能够有效地运行，并保持较高的性能。选择好的激活函数可以对提高网络性能产生较大的影响。ReLU激活函数因其简单有效而成为深度神经网络中最常见的选择，然而，当输入为负时，在反向传播过程中，ReLU梯度将为零，进而导致发生神经元坏死的问题。为此，一种基于软性的门控机制的激活函数Swish和Mish相继提出，该类激活函数主要利用激活函数（如：Sigmoid或Tanh函数）来控制门的开或关，进而实现了神经网络的非线性化需求，并在许多具有挑战性的网络模型和数据集上取得了更好的效果。鉴于上述门控机制运行时，激活函数饱和区的范围相对固定，不能更好地拟合各种网络模型和数据分布。文中提出了一种多参数学习的门控激活函数（A Multi parameterized Gated Action Function, Mpish），该函数使用多个参数动态地调整激活函数的饱和区范围，从而适应不同的网络模型和数据分布。实验结果表明：该函数能有效提高神经网络训练结果的准确性和稳定性，且可以较好地工作在更深层次的网络模型中。

来源：2022年第5期

《南京邮电大学学报(自然科学版)》期刊编辑部

查看南京邮电大学学报(自然科学版)杂志2022年第5期