多通道时空融合网络双人交互行为识别 | |
裴晓敏1; 范慧杰2; 唐延东2 | |
刊名 | 红外与激光工程 |
2020 | |
卷号 | 49期号:5页码:1-6 |
关键词 | 双人交互行为 卷积神经网络 长短时记忆网络 时空融合网络 多通道 |
ISSN号 | 1007-2276 |
其他题名 | Two-person interaction recognition based on multi-stream spatio-temporal fusion network |
产权排序 | 2 |
英文摘要 | 提出一种基于多通道时空融合网络的双人交互行为识别方法,对双人骨架序列行为进行识别。首先,采用视角不变性特征提取方法提取双人骨架特征,然后,设计两层级联的时空融合网络模型,第一层基于一维卷积神经网络(1DCNN)和双向长短时记忆网络(BiLSTM)学习空间特征,第二层基于长短时记忆网络(LSTM)学习时间特征,得到双人骨架的时空融合特征。最后,采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征,利用融合特征识别交互行为,各通道之间权值共享。将文中算法应用于NTU-RGBD人体交互行为骨架库,双人交叉对象实验准确率可达96.42%,交叉视角实验准确率可达97.46%。文中方法与该领域的典型方法相比,在双人交互行为识别中表现出更好的性能。 |
语种 | 中文 |
CSCD记录号 | CSCD:6732614 |
资助机构 | 国家自然科学基金(61401455) ; 辽宁省自然科学基金(2019ZD0066) |
内容类型 | 期刊论文 |
源URL | [http://ir.sia.cn/handle/173321/26926] |
专题 | 沈阳自动化研究所_机器人学研究室 |
通讯作者 | 裴晓敏 |
作者单位 | 1.辽宁石油化工大学信息与控制工程学院 2.中国科学院沈阳自动化研究所机器人学国家重点实验室 |
推荐引用方式 GB/T 7714 | 裴晓敏,范慧杰,唐延东. 多通道时空融合网络双人交互行为识别[J]. 红外与激光工程,2020,49(5):1-6. |
APA | 裴晓敏,范慧杰,&唐延东.(2020).多通道时空融合网络双人交互行为识别.红外与激光工程,49(5),1-6. |
MLA | 裴晓敏,et al."多通道时空融合网络双人交互行为识别".红外与激光工程 49.5(2020):1-6. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论