CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 硕士学位论文
题名面向边缘计算平台的轻量级目标检测模型研究
作者李凯豪
答辩日期2024-05-16
文献子类硕士
关键词深度学习 目标检测 模型轻量化 知识蒸馏 模型剪枝
英文摘要

      目标检测作为计算机视觉领域的核心任务之一,在现实生活中拥有广泛的应用场景。目前,目标检测模型越来越倾向于采用更深层、复杂的网络结构,以换取更精确、稳定的检测效果。然而,随着移动互联网和移动设备的普及,越来越多的应用场景要求目标检测模型能够在边缘计算平台上部署,并且保持符合应用需求的检测精度。边缘计算平台的主要特点是计算资源有限且应用场景实时性强。因此,如何设计一个轻量、高效的网络模型以满足边缘计算平台的需求成为一个亟待解决的关键问题,这也促使了轻量级目标检测模型的研究。

      近年来,面向目标检测模型的轻量化算法取得显著的研究进展,如轻量化模型架构、网络剪枝、知识蒸馏、参数量化、低秩共享等,这些方法为视觉轻量化模型的理论和应用提供了重要支持。网络剪枝和知识蒸馏可以显著减少模型规模和计算复杂度,从而适应资源受限的应用场景,但仍然面临一些需要解决的问题。网络剪枝在剪枝的粒度和准确性上很难平衡,细粒度的剪枝可以很好地保持精度,但需要边缘平台的硬件加速;粗粒度的剪枝方便实施和普及,但很难保持精度。传统的知识蒸馏主要适用于分类模型,使用大模型的分类概率作为软标签训练小模型,但目标检测模型的预测结果为检测框中心及宽高信息。如果直接将其应用于目标检测模型蒸馏,无法起到软标签的作用。因此,本文针对面向边缘计算平台的轻量级目标检测模型,对其网络剪枝难以平衡粒度及准确性和知识蒸馏难以传递目标信息两个方面进行了研究。

(1)基于滤波器动态筛选的重整剪枝

      提出一种基于滤波器动态筛选的重整剪枝方法。该方法的关键思想是使用三个策略实现高精度的滤波器剪枝,即滤波器动态筛选、转移滤波器信息、参数重整剪枝。首先,通过权重欧式距离聚类提取结构间依赖关系,结合权重大小表征的重要性做滤波器动态筛选。其次,借助辅助卷积层实现被剪枝滤波器信息转移。最后,使用参数重整实现间接的滤波器剪枝。实验结果表明,通过应用所提综合剪枝策略,可有效保留模型功能多样性,并进一步提高滤波器剪枝的效果。与现有基于参数重要性滤波器的剪枝方法相比,基于滤波器动态筛选的重整剪枝方法可充分挖掘滤波器间潜在信息,能更加全面地评估滤波器的重要性,并可有效保留滤波器功能的多样性。此外,该方法有效地转移了被剪枝结构信息,并通过参数重整间接地实现了滤波器剪枝,可更好地保留模型的有效信息和检测精度,为网络模型剪枝提供了平衡剪枝粒度与模型检测精度的新方案。

(2)基于分布范围损失的知识蒸馏

      提出一种基于分布范围损失的知识蒸馏。该方法将检测框损失分解为中心位置分布损失、目标框面积分布损失和密度分布损失三个部分,进一步结合目标类别损失以及目标存在性损失,构成分布范围损失。该方法的关键思想是将检测框的硬标签转换为语义上的软标签,即所传递的信息为检测框的分布范围损失而非具体的检测框损失。实验结果表明,采用本文提出的目标检测模型蒸馏方法,能够有效提高模型在目标检测任务中的性能。与传统的硬标签损失相比,分布范围损失更加注重模型对目标位置、尺寸和密度的理解和学习,使得模型更具鲁棒性和泛化能力。此外,该方法还能有效地减轻模型过拟合的问题,提高模型在复杂场景下的泛化性能,进而推动目标检测技术在实际应用中的发展和应用。

语种中文
页码86
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/56500]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
李凯豪. 面向边缘计算平台的轻量级目标检测模型研究[D]. 2024.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace