题名面向人像的精细化视觉解析方法研究
作者朱炳科
答辩日期2021-05-28
文献子类博士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师唐明
关键词精细化视觉解析 人像软分割 人体解析 实例人体解析
学位专业模式识别与智能系统
英文摘要

随着移动互联网的高速发展以及智能终端的快速普及,图像视频数据呈现出爆炸式的增长,已经成为信息传递的重要载体。针对海量的视觉数据实现准确高效的语义理解和分析,是推动计算智能化核心技术手段之一。其中人像是多媒体数据中的核心元素,针对人像进行精细化视觉解析,可以实现人像语义理解的最细粒度表达,有效地推动机器视觉智能化的发展,在自动驾驶、人机交互、虚拟试衣、艺术创作、广告精准投放等领域有着广泛的应用前景。因此,面向人像的精细化视觉解析方法研究具有重要的学术价值与实际意义。

本文通过精细化视觉解析来实现对人像内容的透彻理解和细粒度感知,内容主要包括边缘精细化的人像软分割、类别精细化的人体解析和实例精细化的人体解析。虽然深度学习方法极大地促进了精细化视觉解析的发展,但其仍然面临边缘精细化要求高、噪声标签干扰、尺度和姿态变化迥异、复杂背景干扰和场景信息多样化等困难和挑战。因此,本文以深度学习方法为基本工具,通过设计合理的深度网络模型和模型优化方法,提升精细化视觉解析的计算效率和精度。

本文的主要研究成果和贡献归纳如下:

1. 基于边缘精细化方法的人像软分割。当前人像软分割方法的计算效率较低,无法满足在移动设备上的实时需求。为此,本文提出了一种面向移动设备的、可实时进行人像软分割的轻量化网络。一方面,通过轻量化的分割网络进行粗略的人像分割,提高人像分割的计算效率,同时保证分割精度损失较小;另一方面,为了弥补轻量化分割网络的精度损失问题,提出了一种可自适应学习的羽化模块,以较小的计算代价实现边缘精细化的羽化操作,提高了人像软分割的精度。实验结果表明,将本文提出的轻量化分割网络和羽化模块结合,不但能够在移动设备上实时地进行人像软分割,而且精度与同期其他的人像软分割方法相当。

2. 基于人体结构渐进式学习的人体解析。针对人体解析任务中背景特征对前景特征造成干扰的问题,本文提出了一种渐进式分割网络,该网络将人体解析任务进行人体结构解耦,从而实现从粗粒度到细粒度的渐进解析。为了实现渐进式分割网络,本文引入了一种基于区域特征学习的卷积模块。通过模拟生物注意力机制的方式,该卷积模块提取感兴趣区域来过滤掉无关区域,从而显著减少无关区域对分割目标的干扰。实验结果表明,本方法在各个人体解析数据集上取得了一致的精度提升,并在多个数据集上的准确率高于同期其他方法。

3. 基于部件解耦学习的人体实例解析。针对人体实例解析中的解析结果依赖于人体检测的问题,本文提出了一种部件解耦网络,在学习特征时将各个人体部件与人体整体解耦,并将各个人体部件作为实例目标进行实例分割。同时,为了将各个人体部件实例与人体实例关联到一起,本文建立了一个二分图模型,使用了匈牙利算法进行实例关联。此外,为了增强各个人体部件实例与人体实例的关联准确率,本文加入了一种基于人体结构的图卷积模型进行特征学习。实验结果表明,本方法有效地提升了人体实例解析任务的精度,并在多个数据集上的准确率高于同期其他方法。

4. 基于合成噪声标签的正则化人体解析。人体解析数据集往往存在大量的噪声标签,当前的基于深度学习的优化方法会对数据标签过拟合,导致模型泛化性能较差。为此,本文提出了一种正则化的人体解析方法。该方法利用合成的噪声标签,在原始梯度下降方向上增加了一个正则化偏移,从而缓解了对数据标签的过拟合,增强了模型的泛化性能。本方法在各个人体解析数据集上证明了模型的性能和泛化能力。另一方面,将本方法应用于前述三个精细化视觉解析任务中,进一步提升了轻量化软分割网络、渐进式分割网络和部件解耦网络的模型性能。

语种中文
页码136
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/44997]  
专题自动化研究所_模式识别国家重点实验室_图像与视频分析团队
通讯作者朱炳科
推荐引用方式
GB/T 7714
朱炳科. 面向人像的精细化视觉解析方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2021.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace