一种中文分词后处理反馈算法 | |
高嵩 ; 周强 ; Gao Song ; Zhou Qiang | |
2010-07-15 ; 2010-07-15 | |
会议名称 | 中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集 ; Chinese Computing Technologies and Related Linguistic Issues--Proceedings of the 7th International Conference on Chinese Computing ; 第七届中文信息处理国际会议 ; The 7th International Conference on Chinese Computing ; 中国湖北武汉 ; CNKI ; 中国中文信息学会、新加坡中文与东方语言信息处理学会、武汉大学语言与信息研究中心 |
关键词 | 自动分词 未登录词识别 可信度判断 反馈 Word Segmentation New Word Detection Reliability Evaluation Feedback TP391.1 |
其他题名 | A Feedback Approach for Chinese Word Segmentation Post-processing |
中文摘要 | 分词错误会对未登录词识别产生严重干扰。为解决该问题,本文提出一种对分词结果中的未登录词进行分类,获取分词结果中未登录词的可信度,并将结果反馈至分词程序的算法。分词程序可以据此判断是否应当重新进行分词。实验结果表明算法作为分词程序的辅助,有效的避免了分词错误对未登录词识别的影响,提高了分词算法的整体性能,同时可以从文本中抽取出大量的高可信度的未登录词进行后续处理或研究。; An error in the segmentation result will have a negative effect on new word detection.To solve this problem,this article presents an algorithm that can evaluate the reliability of new Chinese words existing in the segmentation result,and send feedback to the Chinese Word Segmentation System (CWSS).According to the evaluation results,the CWSS decides whether to re-segment the words.The proposed algorithm,as an assistance to the CWSS,not only improves the overall performance of the CWSS,but also tells the new words out from the text so that to conduct further process or research.; 国家自然科学基金(项目号:60573185和60520130299)资助. |
会议录出版者 | 电子工业出版社 |
语种 | 中文 ; 中文 |
内容类型 | 会议论文 |
源URL | [http://hdl.handle.net/123456789/70047] ![]() |
专题 | 清华大学 |
推荐引用方式 GB/T 7714 | 高嵩,周强,Gao Song,等. 一种中文分词后处理反馈算法[C]. 见:中国计算技术与语言问题研究——第七届中文信息处理国际会议论文集, Chinese Computing Technologies and Related Linguistic Issues--Proceedings of the 7th International Conference on Chinese Computing, 第七届中文信息处理国际会议, The 7th International Conference on Chinese Computing, 中国湖北武汉, CNKI, 中国中文信息学会、新加坡中文与东方语言信息处理学会、武汉大学语言与信息研究中心. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论