许丞
- 作品数：2 被引量：53H指数：1
- 供职机构：四川师范大学更多>>
- 发文基金：四川省教育厅青年基金国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop云平台的一种新的任务调度和监控机制被引量：53
- 2013年
- 云平台任务监控与资源调度机制是云平台的核心功能之一。Hadoop云平台中任务监控和资源管理的任务是由JobTracker负责处理,并通过slave节点向其发送心跳消息来实现。这种方式导致JobTracker的负载过重,降低了Hadoop云平台的工作效率,限制了Hadoop云平台的规模。提出了一种新的任务监控方案,该方案将JobTracker的任务监控和资源管理功能分离,任务监控功能仍由JobTracker节点完成,资源管理功能由新增的资源管理节点完成,JobTracker通过增量更新的算法将任务调度所需的对象信息动态同步到资源管理节点上,资源管理节点根据心跳消息进行任务分配,并将分配结果返回给JobTracker节点。实验结果表明,本方案不仅通过监控节点实现了任务的监控,增加了监控的灵活性和鲁棒性,而且降低了Jobtracker节点的负担,可有效提高Hadoop云平台的工作效率和规模。
- 许丞刘洪谭良
- 关键词：云计算HADOOP任务调度资源管理增量更新算法
- Hadoop云平台综合优化
- 大数据时代信息量的急剧增长，对信息处理速度也提出了越来越高的需求。作为MapReduce计算模型的开源实现，Hadoop云平台为用户提供了简洁可靠的大数据处理方案。在处理TB和PB级数据计算中，MapReduce已经成为...
- 许丞
- 关键词：负载均衡数据处理资源管理仿真验证
- 文献传递
