激活函数LeafSpring的构建及多数据集对比研究

CORC > 沈阳自动化研究所 > 中国科学院沈阳自动化研究所 > 海洋信息技术装备中心

	激活函数LeafSpring的构建及多数据集对比研究
	郜天柱 1,2,3
刊名	信息与控制
	2020
卷号	49 期号:3 页码:306-314, 322
关键词	激活函数神经网络线性整流函数(ReLU) LeafSpring
ISSN号	1002-0411
其他题名	Build and Multi-datasets Comparison Analysis of LeafSpring Activation Function
产权排序	1
英文摘要	针对神经网络中ReLU激活函数存在返回值非负及神经元未激活等问题,提出了一种全新的类ReLU激活函数——LeafSpring. LeafSpring既继承了ReLU的优势,又可以返回负值,通用性更强. LeafSpring函数的推导及函数性质也会被讨论.该激活函数还引入了刚度系数k,可以通过训练主动调节相邻两层的权重系数.为了减少计算量, LeafSpring可以在一定情况下简化为ReLU或Softplus.为了展现LeafSpring激活函数的性能,还将其与ReLU、 Softplus及Sigmoid在4种不同类型的数据集上进行拟合精度对比.对比结果表明, LeafSpring在不同的数据集上均能兼顾拟合精度和收敛速度且在小网格规模可以更快、更准确地拟合复杂非线性函数.
语种	中文
CSCD记录号	CSCD:6766420
资助机构	中国科学院战略高技术创新基金资助项目( GQRC-19-16)
内容类型	期刊论文
源URL	[http://ir.sia.cn/handle/173321/27320]
专题	沈阳自动化研究所_海洋信息技术装备中心
通讯作者	郜天柱
作者单位	1.中国科学院大学 2.中国科学院沈阳自动化研究所机器人学国家重点实验室 3.中国科学院机器人与智能制造创新研究院
推荐引用方式 GB/T 7714	郜天柱. 激活函数LeafSpring的构建及多数据集对比研究[J]. 信息与控制,2020,49(3):306-314, 322.
APA	郜天柱.(2020).激活函数LeafSpring的构建及多数据集对比研究.信息与控制,49(3),306-314, 322.
MLA	郜天柱."激活函数LeafSpring的构建及多数据集对比研究".信息与控制 49.3(2020):306-314, 322.