| 题名 | 面向大规模数据分发的发布订阅系统关键技术研究 |
| 作者 | 马建刚 |
| 学位类别 | 博士 |
| 答辩日期 | 2009-01-12 |
| 授予单位 | 中国科学院软件研究所 |
| 授予地点 | 软件研究所 |
| 关键词 | 发布/订阅 数据分发 语义数据模型 元数据 语义上下文 事件转换 订阅转换 事件匹配算法 优先级 调度算法 |
| 其他题名 | Research on Key Techniques for Large-Scale Data Dissemination Oriented Publish/Subscribe Systems |
| 中文摘要 | 随着Internet的迅猛发展，陆续出现众多面向分发的应用，其数据源具有分布性、多样性、自治性和异构性，用户则具有大规模和数据需求的高度重叠性，数据流则呈现出从源到消费者的非对称性等特征。发布/订阅技术与传统的通信范型(消息传递、RPC/RMI和共享空间)相比，所具有的松散耦合、多点通信、匿名性和高可伸缩性等，使得它成为一种适用于大规模数据分发的理想通信方式。 现有的发布/订阅技术在表达能力、匹配的全面、准确和效率以及及时性服务质量保障等方面尚存在问题，不足以支持大规模的数据分发。本文研究的目标是，针对分布式环境下大规模的数据分发，深入研究发布/订阅系统的关键技术，重点解决发布/订阅系统的数据模型、匹配算法和及时性保障等三方面的问题，并开发出原型系统，为大规模的数据分发提供发布/订阅中间件支持，具体内容如下： 1) 语义数据模型 分布式计算环境下，数据源和数据消费者要跨越系统边界进行数据交互，就迫切需要解决事件和订阅的语义异构问题。已有的发布/订阅系统的数据模型的语义表达能力尚存在不足，且难以表达用户偏好。因此，针对该语义异构问题和已有数据模型的不足，采用了一种公共词汇表和语义上下文相结合的方法，建立了发布/订阅系统的语义数据模型，解决了在语义异构的数据环境下事件和订阅如何表示的问题。其中，提出了一种语义订阅语言SPS-EL来表示订阅条件，订阅条件中用属性过滤器的阈值和权重信息反映用户偏好。该模型考虑了事件和订阅所处的数据环境，增强了系统的表达能力，提高了用户表达订阅需求的灵活性。接着，提出了一种基于语义上下文的自动化的事件和订阅的转换机制，消除事件和订阅存在的语义异构，提高了转换效率。 2) 匹配算法 大规模数据分发环境下，订阅者的规模是巨大的，往往到几万甚至上百万，而且用户需求具有模糊性，如何准确、全面和高效地对发布事件进行匹配，确定对其感兴趣的订阅集仍然是一个挑战性问题。而目前已有的系统基本上都是从语法上进行事件与订阅的匹配，主要集中于提高匹配的效率，而缺乏对语义匹配的考虑且较少考虑匹配的全面性和准确性；认为订阅中的属性约束的重要性相同，属性匹配为布尔匹配，没有考虑匹配的相似度，难以匹配出更符合用户偏好的结果。针对该匹配问题和已有方法的不足，基于本文提出的语义数据模型，提出了一种基于语义的多阶段优化的事件匹配算法。该算法利用应用领域的公共词汇表的概念语义关系信息和订阅条件中的阈值和权重表示的用户偏好信息辅助匹配，提高匹配的全面性和准确性。同时，该算法采取多阶段优化的方法，建立高效索引，减少订阅搜索空间和属性过滤器比较次数，从而提高匹配效率。实验结果表明，该算法能够明显提高匹配的全面和准确性，匹配结果更符合用户偏好，并能保持较高的匹配效率。 3) 及时性保障 一些领域的应用对发布/订阅系统设施提出了及时性需求，如何在大规模动态分布式网络环境下满足订阅者的及时性需求并提高系统的有效性是一个挑战性问题。已有的传统的基于连接的资源保留的方法，会带来资源的浪费，违反了发布/订阅系统松散耦合的特性，不适合大规模数据分发场景；静态优先级的方法，其优先级是固定不变的且数目是有限的，不适应动态网络环境。因此，针对及时性保障问题和已有方案的不足，借鉴了经济学的方法，提出了一种支持及时性需求的传播、事件调度和分发机制，并保持了发布/订阅系统固有的松散耦合特性。在该机制中，建立了发布/订阅系统的延迟模型，引入了事件的期望收益、预期违约成本和推迟成本等度量指标，提出了一种基于收益机制的分布式发布/订阅系统及时性保障技术和使系统获益最大化的动态优先级调度算法MTEP（Maximum Total Earning Priority）。该调度算法利用价格、违约成本和延迟等信息，对事件进行及时有效地调度分发。实验结果表明，该机制能满足订阅者和发布者指定延迟约束的需求，能在系统高负载情况下使订阅者能接收到的有效事件明显增多并使系统收益显著改善。 最后，设计并实现了面向大规模数据分发的发布/订阅原型系统OnceDI/PS。该原型系统采用Java技术开发实现了本文提出的数据模型、匹配算法和及时性保障机制。 |
| 语种 | 中文 |
| 公开日期 | 2011-03-17 |
| 页码 | 155 |
| 内容类型 | 学位论文 |
| 源URL | [http://124.16.136.157/handle/311060/5822]  |
| 专题 | 软件研究所_软件工程技术研究开发中心 _学位论文 |
| 推荐引用方式 GB/T 7714 | 马建刚. 面向大规模数据分发的发布订阅系统关键技术研究[D]. 软件研究所. 中国科学院软件研究所. 2009. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论