多特征融合的维哈口语短文本分类
何峻青; 赵学敏; 颜永红
2017
会议日期2017-10-11
会议地点中国江苏连云港
关键词文字信息处理 少数民族语言 文种识别 启发式特征
英文摘要少数民族语言如维吾尔语、哈萨克语、乌兹别克语、柯尔克孜语等使用基本相同的字符,并且共用大量词汇,难以通过判断特殊字符来区分文种。而来自社交网络的口语文本因为长度短、噪声多以及不合语法,是相近语言识别的难题。我们提出了一种基于启发式特征的口语短文本分类方法,不需要专家知识和精心制作的规则,便可有效识别文种。为了解决训练数据不均衡问题,我们提出了两种适合不同需求的均衡策略。结合最大熵分类器,我们的系统在短文本数据集上总体能达到95.1 % 的精确度。
内容类型会议论文
源URL[http://ir.xjipc.cas.cn/handle/365002/5371]  
专题新疆理化技术研究所_多语种信息技术研究室
作者单位1.中国科学院声学研究所
2.中国科学院大学
3.中国科学院新疆理化技术研究所
推荐引用方式
GB/T 7714
何峻青,赵学敏,颜永红. 多特征融合的维哈口语短文本分类[C]. 见:. 中国江苏连云港. 2017-10-11.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace