题名面向小样本场景的语义分割方法研究
作者毛彬杰
答辩日期2023-05
文献子类博士
关键词小样本语义分割 语义分割 小样本学习 小样本视频对象分割
英文摘要

基于深度学习的语义分割模型已经广泛应用于自动驾驶、机器视觉、遥感分割等领域。但是现有的语义分割模型往往需要大量像素级别的标注样本。此外,现有的分割模型也很难处理在训练阶段中未见过的类别。针对这些问题,研究者们提出了小样本场景下的语义分割任务,即小样本语义分割任务。该任务旨在仅提供极少量新类别带标注数据的情况下,使分割模型能实现面向新类别的分割任务。         由于给定的新类样本数量极少,因此很难通过重新训练模型或者对模型进行微调的方式为新类别单独训练一个新的模型。这也导致以往的语义分割模型无法直接迁移到小样本分割任务上。虽然已经有一些方法能够处理此任务,但是当前的小样本分割依旧面临着以下问题。(1)数据域的差异性问题。在小样本分割任务设置下,支持集样本和查询集样本之间的分布差异会导致模型对该类别的理解产生歧义。(2)新类样本的稀缺性问题。在极少量的新类样本条件下,网络模型很难通过常规方法学习到合适的参数。(3)视频场景下的小样本分割问题。 现有的小样本分割任务大都限定在图像领域,而很少探索通过建立有效的时空信息学习机制,实现在小样本场景下的视频分割任务。如何能够有效地解决上述问题,从而提高当前小样本分割模型的性能,是一个具有重要意义且极富挑战性的问题。

       为了解决上述问题,本文对小样本场景下的语义分割任务进行研究和探索,并为每个问题提供了一种相应的解决方案。本论文的主要研究内容与贡献归纳如下:

1.针对支持样本与查询样本之间的域差异问题,本文提出一种基于任务引导的小样本语义分割方法。该方法通过构建任务感知自适应模块提取任务信息,强化支持样本和查询样本之间的交互,从而缓解支持样本与查询样本的域差异性。具体而言,首先通过任务感知自适应模块从当前的输入中提取出特定的任务信息,然后通过注意力机制将任务信息同时作用于特征的通道和空间维度,实现特征的自适应增强。此外,本方法还通过逐步为预测结果增加细节信息的方式,对预测的结果进行进一步的优化。通过非参数的聚合操作,本方法所提网络能够处理任意样本条件下的分割任务,而不需要对模型进行结构上的调整。最后,在多个公开的基准数据集上的实验验证了所提方法的有效性。

2.针对小样本分割任务中的样本稀缺性问题,本文提出一种基于对偶原型的小样本语义分割方法。不同于大部分以往的小样本分割方法只关注于提取支持样本上的信息,本方法探索了从查询样本上获取信息的方法,从而提高模型对于稀缺新类样本的利用率。具体来说,所提模型不仅利用从支持样本中提取的原型,同时也利用通过循环比较模块从查询样本中提取的伪原型,指导对查询样本的分割。
本方法首先设计了循环比较模块,通过循环一致性的准则选择出可靠的前景特征,并生成相应的伪原型特征。随后进一步利用原型和伪原型之间的相关性对彼此进行特征增强。此外,所提方法还在两种原型和查询特征的密集匹配过程中引入多尺度的上下文信息,从而提升分割结果的准确性。最后,所提方法在相应的基准数据集上进行大量的实验以验证其有效性。

3.针对视频场景下的小样本分割问题,本文提出一种基于原型进化的小样本视频对象分割方法。通过构建原型进化模块传播查询视频中的时序信息,该方法既利用了待分割视频和支持图像之间的相关性,也利用了视频本身所蕴含的时序信息。具体来说,模型首先建立基于原型的框架建立支持图像和目标视频帧之间的关系。此框架具有更少的参数量与更快的推理速度。同时构建原型进化模块,融入时序信息到视频原型特征的进化过程中。该视频原型特征不会随着视频帧的增加而增加内存占用量。此外,所提方法还提出利用高层特征的方法,使模型能够以少量速度的代价换取更高的精度。最后,在多个公开的相关数据集上进行实验,表明所提方法在精度和速度方面均具有一定的优势。

语种中文
页码91
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/52231]  
专题自动化研究所_模式识别国家重点实验室_遥感图像处理团队
推荐引用方式
GB/T 7714
毛彬杰. 面向小样本场景的语义分割方法研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace