基于ViT和语义引导的视频内容描述生成研究

doi:10.19678/j.issn.1000-3428.0064409

	基于ViT和语义引导的视频内容描述生成研究
	赵宏; 陈志文; 郭岚; 安冬
刊名	计算机工程
	2022-08-09
页码	1-10
关键词	视频内容描述视频理解 Vision Transformer 语义引导长短期记忆网络注意力机制
DOI	10.19678/j.issn.1000-3428.0064409
英文摘要	针对现有视频内容描述模型生成的视频内容描述文本可读性差和准确率不高的问题，提出一种基于ViT(Vision Transformer)和语义引导的视频内容描述方法。首先，利用ReNeXt和ECO(Efficient Convolutional Network)网络提取视频的视觉特征；其次，以提取的视觉特征为输入、语义标签的概率预测值为输出训练语义检测网络(Semantic Detection Network，SDN)；再次，利用ViT对静、动态视觉特征进行全局编码，并与SDN提取的语义特征进行注意力融合；最后，采用语义LSTM网络对融合特征进行解码，生成视频对应的描述文本。实验发现，引入视频中的语义特征能够引导模型在生成更符合人类习惯的描述，生成的描述更具可读性。在MSR-VTT数据集的测试结果表明，本文模型在BLEU-4、METEOR、ROUGE-L和CIDEr指标上分别达到44.8、28.9、62.8和51.1，相比于当前主流的视频内容描述模型，具有更好的性能。
URL标识	查看原文
语种	中文
内容类型	期刊论文
源URL	[http://ir.lut.edu.cn/handle/2XXMBERH/159283]
专题	计算机与通信学院
作者单位	兰州理工大学计算机与通信学院
推荐引用方式 GB/T 7714	赵宏,陈志文,郭岚,等. 基于ViT和语义引导的视频内容描述生成研究[J]. 计算机工程,2022:1-10.
APA	赵宏,陈志文,郭岚,&安冬.(2022).基于ViT和语义引导的视频内容描述生成研究.计算机工程,1-10.
MLA	赵宏,et al."基于ViT和语义引导的视频内容描述生成研究".计算机工程 (2022):1-10.