一种基于条件梯度的加速分布式在线学习算法

doi:10.16383/j.aas.c210830

CORC > 自动化研究所 > 中国科学院自动化研究所 > 学术期刊 > 自动化学报

	一种基于条件梯度的加速分布式在线学习算法
	吴庆涛; 朱军龙; 葛泉波; 张明川
刊名	自动化学报
	2024
卷号	50 期号:2 页码:386-402
关键词	条件梯度分布式在线学习悔界收敛速率
ISSN号	0254-4156
DOI	10.16383/j.aas.c210830
英文摘要	由于容易实施,基于投影梯度的分布式在线优化模型逐渐成为一种主流的在线学习方法.然而,在处理大数据应用时,投影步骤成为该方法的计算瓶颈.近年来,研究者提出了面向凸代价函数的分布式在线条件梯度算法,其悔界为O(T~(3/4)),其中T是一个时间范围.该算法存在两方面的问题,一是其悔界劣于公认的悔界■;二是没有分析非凸代价函数的收敛性能,而实际应用中代价函数大部分是非凸函数.因此,提出一种基于条件梯度的加速分布式在线学习算法,使用Frank-Wolfe步骤替代投影步骤,避免昂贵的投影计算.文中证明当局部代价函数为凸函数时,所提算法达到公认的悔界■;当局部代价函数为潜在非凸函数时,所提算法以速率■收敛到平稳点.最后,仿真实验验证了所提算法的性能与理论证明的结论.
内容类型	期刊论文
源URL	[http://ir.ia.ac.cn/handle/173211/55747]
专题	自动化研究所_学术期刊_自动化学报
推荐引用方式 GB/T 7714	吴庆涛,朱军龙,葛泉波,等. 一种基于条件梯度的加速分布式在线学习算法[J]. 自动化学报,2024,50(2):386-402.
APA	吴庆涛,朱军龙,葛泉波,&张明川.(2024).一种基于条件梯度的加速分布式在线学习算法.自动化学报,50(2),386-402.
MLA	吴庆涛,et al."一种基于条件梯度的加速分布式在线学习算法".自动化学报 50.2(2024):386-402.