詹杭龙 作品数:9 被引量:6 H指数:1 供职机构: 北京大学 更多>> 发文基金: 国家自然科学基金 国家重点基础研究发展计划 国家高技术研究发展计划 更多>> 相关领域: 自动化与计算机技术 机械工程 更多>>
一种支持动态伸缩的并行计算的方法 本发明公开了一种支持动态伸缩的并行计算的方法,主要包括以下内容:(1)将并行作业转化成由若干任务构成的集合,并将任务集管理与处理器组群的管理进行解耦,以支持可伸缩的计算;(2)通过任务缓冲池实现对并行作业的任务集的管理和... 曹东刚 詹杭龙文献传递 分布式并行图处理中基于P2P的动态容错方法及系统 本发明涉及一种分布式并行图处理中基于P2P的动态容错方法及系统。该方法包括:定义分布式图处理问题的数据单元,以确保动态容错时所恢复数据的完整性;将处理器节点组成环状结构,将输入的图数据划分成若干分区并将各分区分派到各处理... 曹东刚 詹杭龙 李宝 梅宏文献传递 一种开放共享环境下支持弹性伸缩的并行图处理框架 面对大数据大容量、高速率和多样性的特点,传统关系型数据库不再能满足处理海量非结构化数据的需求,越来越多的数据中心开始使用以NoSQL数据库为主,多个数据存储组件相互协同的多存储系统。为了发挥多存储系统中各个存储组件的功能... 詹杭龙 曹东刚 谢冰一种基于Actor模型的弹性可伸缩的流处理框架 流处理是一种重要的大数据应用模式,在金融、广告、物联网、社交网络等众多领域得到了广泛应用.在流处理场景中,流数据的产生速度往往变化剧烈且不容易预测.这时,如果数据流量峰值超过处理系统的承载能力,可能使得系统运行缓慢甚至崩... 詹杭龙 刘澜涛 康亮环 曹东刚 谢冰关键词:大数据 文献传递 分布式并行图处理中基于P2P的动态容错方法及系统 本发明涉及一种分布式并行图处理中基于P2P的动态容错方法及系统。该方法包括:定义分布式图处理问题的数据单元,以确保动态容错时所恢复数据的完整性;将处理器节点组成环状结构,将输入的图数据划分成若干分区并将各分区分派到各处理... 曹东刚 詹杭龙 李宝 梅宏文献传递 一种扩展构件运行支撑平台中EJB容器的方法 本发明涉及一种扩展构件运行支撑平台中EJB容器的方法。首先生成一树形元数据模型,其根节点为包含EJB基本属性的元数据基类,将包含新语义的元数据作为该元数据模型树的子节点,其中子节点的元数据继承并扩展了上述基类;然后对上述... 梅宏 曹东刚 詹杭龙 康亮环文献传递 分布共享环境下支持弹性伸缩的图处理框架 被引量:1 2016年 作为大数据处理的一种重要模式,图处理被广泛地应用在机器学习、数据统计和数据挖掘等场景中。在企业级应用中,多种类型的大数据处理框架通常会部署在同一个分布式集群中,其运行环境是开放、共享的,这时图处理需要考虑运算资源动态变化的问题。为了能适应这种动态性,更加充分地利用开放共享环境的资源,图处理框架应该具备弹性伸缩能力。通过调研,发现现有的图处理框架尚未完全实现弹性伸缩。为此,介绍了一种支持弹性伸缩的分布式并行图处理框架SPar Ta G。首先基于任务并行模型定义了图处理任务集及任务模型;其次基于任务迁移机制设计并实现了可动态伸缩的图处理框架;最后设计了一个基于负载均衡的调度算法,实现了动态伸缩的图处理过程。实验结果说明,SPar Ta G的性能与当前流行的开源图处理框架Giraph相近,且具有较好的弹性伸缩能力。 詹杭龙 曹东刚 谢冰关键词:分布式并行计算 完整网络中间件运行支撑平台及异构中间件的集成方法 本发明涉及一种能集成目前几种主流中间件技术的完整网络中间件运行支撑平台以及在该平台上集成异构中间件构件的方法。本发明的平台包括微内核集成框架,通信服务层,公共服务层,构件容器层和业务引擎层,微内核集成框架为这四类服务层提... 梅宏 曹东刚 康亮环 詹杭龙文献传递 一种基于Actor模型的弹性可伸缩的流处理框架 被引量:5 2017年 流处理是一种重要的大数据应用模式,在金融、广告、物联网、社交网络等众多领域得到了广泛应用.在流处理场景中,流数据的产生速度往往变化剧烈且不容易预测.这时,如果数据流量峰值超过处理系统的承载能力,可能使得系统运行缓慢甚至崩溃,导致处理作业失效;如果为了应对数据流量峰值而过度配置资源,则可能在系统轻载时产生不必要的浪费.为了解决流处理中负载和资源的匹配问题,流处理系统应该具有弹性可伸缩的能力,一方面以高效的方式组织运算资源;另一方面能根据数据流量的实时变化自动地调整资源使用量.然而,现有的流处理框架对于弹性可伸缩的支持尚很初步.介绍了一种基于Actor模型的弹性可伸缩的流处理框架eSault.eSault首先基于Actor模型将批量的处理单元进行分层管理,通过2层路由机制实现了对伸缩性的支持;在此基础上,设计一个基于数据处理延迟的过载判断算法和基于数据处理速度的轻载判断算法来指导系统对资源的有效使用,进而实现弹性可伸缩的流处理.实验结果表明:eSault具有较好的性能,而且能够很好地实现弹性可伸缩. 詹杭龙 刘澜涛 康亮环 曹东刚 谢冰关键词:云计算