递归最小二乘循环神经网络 | |
赵杰; 张春元; 刘超; 周辉; 欧宜贵; 宋淇 | |
刊名 | 自动化学报
![]() |
2022 | |
卷号 | 48期号:8页码:2050-2061 |
关键词 | 深度学习 循环神经网络 递归最小二乘 迷你批学习 优化算法 |
ISSN号 | 0254-4156 |
DOI | 10.16383/j.aas.c190847 |
英文摘要 | 针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度,逐层导出RNNs参数的迷你批递归最小二乘解.相较随机梯度下降算法,所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵,其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右.此外,本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法.仿真结果表明,无论是对序列数据的分类问题还是预测问题,所提算法的收敛速度要优于现有主流一阶优化算法,而且在超参数的设置上具有较好的鲁棒性. |
内容类型 | 期刊论文 |
源URL | [http://ir.ia.ac.cn/handle/173211/56308] ![]() |
专题 | 自动化研究所_学术期刊_自动化学报 |
推荐引用方式 GB/T 7714 | 赵杰,张春元,刘超,等. 递归最小二乘循环神经网络[J]. 自动化学报,2022,48(8):2050-2061. |
APA | 赵杰,张春元,刘超,周辉,欧宜贵,&宋淇.(2022).递归最小二乘循环神经网络.自动化学报,48(8),2050-2061. |
MLA | 赵杰,et al."递归最小二乘循环神经网络".自动化学报 48.8(2022):2050-2061. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论