| 题名 | 基于人机交互的科技助残若干问题研究 |
| 作者 | 徐国庆 |
| 学位类别 | 工学博士 |
| 答辩日期 | 2011-05-30 |
| 授予单位 | 中国科学院研究生院 |
| 授予地点 | 中国科学院自动化研究所 |
| 导师 | 王阳生 |
| 关键词 | 科技助残 人脸跟踪 表面肌电信号 三维手建模 上肢截肢康复 disabled assist technology face track sEMG 3D hand construction rehabilitation of the upper limb amputation |
| 其他题名 | Study on Some Key Issues in the Disabled Assist Technology Based on Human Computer Interaction |
| 学位专业 | 计算机应用技术 |
| 中文摘要 | 助残人机交互技术是实现科技助残的重要研究内容，对增强残疾人的自理能力，提高其生活质量具有重要意义。通过对人体运动（信号）的检测及多模态识别，可以实现与控制系统的交互。这项技术已在游戏娱乐领域获得最先的研究和应用。对于上肢运动功能障碍患者，特别是上肢截肢患者，其肢体其他部位的运动可以部分替代残缺肢体的功能，因此研发基于人机交互的科技助残控制系统，具有很强的理论研究意义和实际应用价值。 针对上肢截肢患者的人机交互中的一些关键问题进行研究，重点探讨了上肢截肢表面肌电信号交互技术、上肢截肢患者的脸部交互技术、眼睛跟踪与注视方向检测的交互技术、基于虚拟现实的截肢上肢康复交互训练系统。论文的主要内容和创新点如下： 1、提出基于短时特征的多通道表面肌电信号动作识别算法。通过肌电采集仪获取上肢截肢残肢表面肌电信号， 并在上位机中实现对信号的自适应阈值去噪。使用短时特征算法提取信号中的动作段的端点特征，分割动作段信号，并提取动作段内的特征矢量。使用支持向量机完成对前臂尺侧腕伸屈表面肌电信号特征的训练和识别，总识别率在98\%以上，实现了基于上肢表面肌电信号的交互控制。 2、提出融合在线多帧特征信息的特征点更新方法。在AAM特征点对齐算法基础上，利用前帧已对齐的特征点信息，快速计算本帧运动矢量，做为本帧对齐初始位置，从而使本帧对齐迭代的初始点充分接近最优解，避免大范围搜索容易陷入的局部极小问题；人脸检测仅在第一帧初始化或在跟踪过程中完全跟踪丢失时进行一次，后续帧在前帧基础上更新位置，提高跟踪速度；针对人脸运动过快出现的块匹配失效问题，使用多分辨率块搜索算法，在各级图像上进行块对齐，实现在大范围的快速移动条件下，仍然能够完成特征点匹配。实验表明，提出的特征点更新算法能够实时跟踪快速的人脸移动，并在较少的迭代次数内实现人脸对齐。 3、提出了基于局部表观特征的眼睛区域精确定位方法。对在自然光照下，基于摄像头的眼睛跟踪与注视方向检测进行了研究。利用改进快速积分算法和眼睛区域的局部积分投影，实现对眼睛中心的快速定位。结合三维人脸模型和眼睛模型，实现对眼睛注视方向检测。利用眼睛区域的局部特征进行眼睛中心搜索，结合眼睛虹膜区域的对称特性，使搜索算法能够较好地适应眼睛局部光照变化和遮挡影响。 4、提出基于上肢截肢患者健康手部照片进行残肢手建模的算法。对于采集的上肢截肢患者的健肢手部照片，使用凸包检测和曲率聚类算法检测5个手指的关键点，结合手部主动表观模型自动检测手部轮廓、检测五指的指尖位置、手掌宽高比、五指的长度、粗细等参数，并通过与个性化手掌模型匹配实现三维手创建；根据真实手的肤色空间分布，实现手部纹理映射，创建个性化的三维人手的骨骼模型和网格纹理模型。针对三维手部的动画关键帧使用动画插值，获得真实的手部动画效果。 5、提出基于虚拟现实的截肢上肢康复训练系统。通过上肢截肢患者的健康手部照片获取手部特征信息，创建三维个性化手，与训练场景进行融合。通过实时采集并识别患者残肢表面肌... |
| 英文摘要 | It is one of the significant objectives to design a convenient human computer interaction (HCI) for the people with motion mobility impairments, e.g. the disabled with upper limbs amputation. The natural human computer interaction can realize the recognition of the human body including the hands, the identification of parts of the movements. It has been used firstly in the research and development of the computer games. For the upper limb amputees, the motor function of the lost hands can be partly replaced by the other parts of their bodies, especially in upper limb amputees, the movement of other parts of the body can partly replace the function of the hand. Therefore, the research of multi-modal rehabilitation aids based on the human-computer interaction has a strong theoretical significance and practical application value. In this paper, some key issues of the human-computer interaction in the disabled with upper limb amputation are researched. It focuses on the main technical problems of the computer vision-based tracking of human face interaction, the human computer interface based on the human gaze track, the computer control system based on the amputation surface electromyography (sEMG). The application systems have been designed. The main contents and contributions are as follows: 1．A features update using online frame information is presented. Compared with previous work, it realizes the following improvements. First, the previous frame features are used to calculate the motion vector of the current frame, and the original iterate position of current frame is estimated based on the motion vector. Therefore, the solution can be close to the optimal and the local minimal can be avoided. Second, facial detection is processed only when the face is fully lost or at the first frame, and the following frames directly use the previous results rather than detect frame by frame. Third, pyramid block patch is used and the block patch is processed in each layer of the pyramid, therefore, the losing frame problem usually found when the face moves fast can be overcome. Experiment shows the method can real time track the fast moving face and align the features in small number of iterations. 2.A precise iris center and eye corners detection algorithm is proposed. And the eye gaze track algorithm is presented. The whole work is based on common web cameras and natural light condition instead of high resolution devices and infrared illumination.... |
| 语种 | 中文 |
| 其他标识符 | 200818014629096 |
| 内容类型 | 学位论文 |
| 源URL | [http://ir.ia.ac.cn/handle/173211/6374]  |
| 专题 | 毕业生_博士学位论文 |
| 推荐引用方式 GB/T 7714 | 徐国庆. 基于人机交互的科技助残若干问题研究[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2011. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论