长江学者和创新团队发展计划(IRT1049)
- 作品数:70 被引量:163H指数:7
- 相关作者:王晶李炜沈奇威王纯朱晓民更多>>
- 相关机构:北京邮电大学东信北邮信息技术有限公司杭州东信北邮信息技术有限公司更多>>
- 发文基金:长江学者和创新团队发展计划国家自然科学基金国家重点基础研究发展计划更多>>
- 相关领域:自动化与计算机技术电子电信经济管理天文地球更多>>
- 基于Heritrix的增量式爬虫设计与实现被引量:6
- 2014年
- Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限。针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix 3.x,详细阐述一套新的增量功能框架的设计方案,这个框架既能有效利用Heritrix 3.x的页面下载功能,又能高效地对数据进行增量抓取。
- 孟庆浩王晶沈奇威
- 关键词:HERITRIX网络爬虫
- 异构虚拟化系统中抽象层的设计方案
- 2015年
- 随着云计算技术的普及,虚拟化技术越发重要,然而各种不同的虚拟化产品层出不穷,对不同虚拟化技术的统一管理越发显得重要。在不同的虚拟化系统上构建资源抽象层是管理异构虚拟化资源的一种解决方法;资源抽象层屏蔽Iaa S平台管理底层基础设施的差异性,并提供了一致的管理接口。在其管理之下,异构的虚拟资源可以作为具有相同管理接口的资源进行统一的调度和分配;抽象层将多个虚拟化计算平台统一纳管在同一个管理平台之上,统一了虚拟资源视图,使得资源管理更加便捷。本文首先给出了一种资源抽象层的系统设计,然后介绍了各个子模块如何相互协作完成不同虚拟化系统的管理,最后给出了虚拟机资源申请的详细流程。
- 刘化东王纯
- 关键词:云计算虚拟化
- 一种实时推荐系统数据发布平台的设计与实现
- 2015年
- 随着推荐系统的发展,推荐方式的时效性和准确性要求越来越高。面对迅猛发展的用户群,推荐系统的门户网站的点击率增加,本文提出了一种实时推荐系统数据发布平台。通过负载均衡使推荐系统门户网站多模块并发的推荐请求能够得到有效处理并将推荐算法推荐出的信息实时发送到门户前端以减少用户的等待时间。数据发布平台通过使用HBase(Hadoop Database)和Redis作为存储提供推荐系统中的离线推荐计算结果和在线推荐计算结果查询接口。
- 莫萍燕王玉龙
- 关键词:数据发布
- 基于虚拟MAS架构的管理子系统设计与实现
- 2013年
- 主要介绍虚拟MAS架构企业消息能力开放平台的实现及虚拟MAS架构比起传统MAS架构具有的优势。
- 唐安琪李炜王晶
- 关键词:MASWEBSERVICE
- Protocol Buffer在Android企业云通讯录中的应用被引量:8
- 2012年
- 本文介绍了在Android企业云通讯录中,应用Protocol Buffer进行数据更新的使用方法,并通过实验测试数据,对XML(extensible markup language)、JSON(JavaScript object notation)、Protocol Buffer进行时间和空间性能比较。
- 殷昊沈奇威王纯
- 关键词:PROTOCOLBUFFERANDROID
- 基于Ruby Fiber的异步事件驱动模型在监控告警模块中的应用
- 2012年
- 由于Ruby语言线程模型的限制,通常使用事件驱动方式来实现Ruby应用中的并发。Fiber(纤程)是Ruby语言中的新特性,使用Fiber可以解决事件驱动模型中常见的异步操作、工作流程割裂等问题。本文介绍了基于RubyFiber实现的异步事件驱动模型在监控告警模块中的应用。
- 高伟王纯李炜
- 关键词:事件驱动模型RUBY异步操作告警事件驱动方式
- 家庭开放平台屏幕管理的设计方案
- 2015年
- 随着互联网电视的普及和云计算技术的涌现,家庭开放平台应运而生。它依托互联网电视,为用户提供高清视频通话、多屏及家庭云等特色应用。因此,本文根据家庭开放平台屏幕管理的需求,提出了一种屏幕管理的设计方案。该设计方案包括屏幕管理网站、屏幕管理后台和终端机顶盒三个主要模块。本文针对每个模块,论述了功能要点和具体的设计思路。
- 宫妍王晶
- 关键词:互联网电视屏幕管理
- 一种Web服务器集群管理平台的设计方案
- 2013年
- 分析基于网络7层的Web服务器集群对管理平台的需求,提出满足这一需求的一种Web服务器集群管理平台设计方案。该设计方案包含Web服务器软件套件和Web服务器集群管理平台,可以实现对Web服务器及Web应用的自动化部署和生命周期管理,对集群节点的配置和日志进行集中管理。
- 吴昌龙王晶沈奇威
- 关键词:WEB服务器集群
- 基于文件拆分和缓存预测的日志文件传输算法被引量:1
- 2013年
- 当今的云计算平台和大型网站在运行时都会产生大量的日志文件,这些日志文件一般都具有收集分析的价值,所以在日志文件的收集过程中就出现了大日志文件的传输问题。本文要解决的问题就是如何使日志文件能够快速的传输到接收端。为此本文在研究了当前已经有的大数据传输办法之后,针对日志文件提出了与传输协议无关的新算法:文件拆分和预测算法。该算法主要由两部分组成:首先对日志文件进行拆分,拆分成包含描述性信息的文件和包含数据的文件,消除了文件中的冗余信息;然后在传输过程中通过预测接收端缓存的数据来达到消除传输过程中的冗余信息的目的。经过实验检验,本文设计的算法能够将实际传输的数据量降低90%以上。
- 马赛牧王晶
- 关键词:FINGERPRINT云计算
- Apache集群在多媒体内容播控管理平台上的应用
- 2013年
- 随着终端用户的增加,多媒体内容播控管理平台对高访问量、高并发的需求越来越高。本文首先介绍了Apache集群的原理,然后将其应用于多媒体内容播控管理平台中,通过均衡负载,减轻了服务器的负担,提高了响应速度。
- 张小锋朱晓民
- 关键词:并发集群APACHE