| 题名 | 光学与超声图像复原方法研究 |
| 作者 | 刘鹏飞1,2 |
| 答辩日期 | 2020-11-26 |
| 授予单位 | 中国科学院沈阳自动化研究所 |
| 授予地点 | 沈阳 |
| 导师 | 赵怀慈 |
| 关键词 | 图像去模糊 高光谱重建 卷积神经网络 特征金字塔 特征迁移 |
| 学位名称 | 博士 |
| 其他题名 | Research on optical and ultrasonic image restoration method |
| 学位专业 | 模式识别与智能系统 |
| 英文摘要 | 在图像处理领域，图像复原技术起着举足轻重的作用，其在底层视觉研究中十分重要，与多个学科有着紧密联系，在交通监控、刑侦探案、医疗诊断和目标检测识别等领域有着广泛的应用需求，一直是学者重点关注的热门方向。图像复原技术可以提供比原始图像更多的信息，有利于拓展成更多应用，比如目标检测，识别与跟踪。图像复原的具体内涵包括图像去模糊、超分辨率重建、多光谱信息重建和结构信息恢复等。图像质量是各学科应用的前提，受到硬件设备的限制、拍摄条件以及噪声影响，图像会出现模糊、分辨率不足的情况，严重制约着图像的应用范围，因此通过图像复原技术，在已有单幅图像基础上获得高质量的图像是决定图像后续应用的关键。现实世界是一个由众多目标和特定环境构成的复杂场景，在计算机视觉任务中，高层视觉处理技术需要以高质量图像为前提，才能完成目标检测、识别与跟踪等任务。在本文中，以普通可见光相机、红外相机、可见光成像光谱仪和超声成像仪等多种设备拍摄的多模态图像为研究背景，开展图像运动模糊去除、图像超分辨率重建、高光谱信息重建与超声图像斑点噪声去除以及缺失边缘恢复等方法研究，突破图像基于深度学习的复原技术，本文主要研究内容和研究成果如下：1. 针对单幅噪声模糊图像盲复原问题，提出了一种基于高斯金字塔的卷积神经网络模型，输入为单幅模糊图像，无需估计模糊核，网络直接输出清晰图像。通过下采样获得比原始图像分辨率小的图像，对应的清晰图像也做下采样操作，采集不同感受野大小的特征信息，输出低分辨率结果后，再通过上采样操作与上一层的输入图像融合作为上一层网络的输入，保证了高分辨率输出图像包含了低分辨率图像信息。设计了稀疏编码器限制输入范围，使判别器权重参数更快达到最优。实验证明该网络能够完成运动模糊图像去除任务，在自动滤除噪声的同时能够消除运动模糊核的影响，输出清晰图像，其在三个标准模糊测试集上展示了算法的优越性。2. 基于超分辨率重建技术展开研究，针对其在深度学习中客观存在的问题，提出基于特征迁移的八层网络模型，模型为全卷积结构，可以适应任意大小的输入图像。打破了传统深度学习方法只能有三层卷积神经网络的限制，实现了深层全卷积网络。首先，通过预先训练得到前四层网络参数，然后以预训练好的参数作为基础实行特征迁移，在更深层的网络中，重新对新网络进行训练。定量评价采用客观指标为峰值信噪比PSNR（Peak Signal to Noise Ratio）和结构相似度SSIM（Structural Similarity），从结果可看出，相比于对比算法，本文模型能够得到更加优质的图像，当放大倍数观看时，依然可以看到较为清晰的纹理。3. 针对单幅RGB图像重建高光谱图像的严重不适定问题，提出了一种基于注意力机制的生成模型，无需硬件辅助或相机光谱响应，由单幅RGB图像重建高光谱信息。在网络内部建立了特征金字塔结构，并结合尺度注意力机制，根据感受野大小融合局部和全局特征，减小尺度噪声。本文方法与稀疏字典方法相比，均方误差RMSE（Root Mean Square Error）降低了42%，相对均方误差RMSERel（Root Mean Square Error Relative）降低了46.6%，在此基础上，提出了新的W-Net结构替换U-Net，改进后的模型引入了边缘图像监督模块，可以丰富模型重建图像高频信号的能力，与稀疏字典方法对比，RMSE降低了45%，RMSERel降低了50%。使用RGB相机拍摄真实场景，输入输出光谱数据均未知，在进行双盲实验时，W-Net重建图像质量优于对比算法。4. 针对胎儿超声图像面临的斑点噪声和边缘缺失问题，提出一种基于特征融合感知的去噪及复原方法。为了能够充分地补全胎儿头围和腹围缺失信息，首先利用深度卷积网络中不同层输出特征图对信息描述不同的特点，提出基于软尺度注意力机制的特征融合方法。随后，采用将每一层级输出的预测结果融合到特征图中，提高了分割精度。实验结果表明，该方法能够有效应对拍摄时可能遭受的斑点噪声、形变等挑战，并展示了出色的鲁棒能力。 |
| 语种 | 中文 |
| 产权排序 | 1 |
| 页码 | 111页 |
| 内容类型 | 学位论文 |
| 源URL | [http://ir.sia.cn/handle/173321/27980]  |
| 专题 | 沈阳自动化研究所_光电信息技术研究室 |
| 作者单位 | 1.中国科学院大学 2.中国科学院沈阳自动化研究所 |
| 推荐引用方式 GB/T 7714 | 刘鹏飞. 光学与超声图像复原方法研究[D]. 沈阳. 中国科学院沈阳自动化研究所. 2020. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论