教育部重点实验室开放基金(93K172012K12)
- 作品数：3 被引量：319H指数：2
- 相关作者：张广艳郑纬民孙大为丘建平蔡涛更多>>
- 相关机构：清华大学吉林大学江苏大学更多>>
- 发文基金：教育部重点实验室开放基金国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 大数据流式计算:关键技术及系统实例被引量：312
- 2014年
- 大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.
- 孙大为张广艳郑纬民
- 分级存储系统中一种数据自动迁移方法被引量：7
- 2012年
- 分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.
- 张广艳丘建平
- 关键词：数据迁移数据分级速率控制
- IOmark:一种精确的存储系统性能测试工具
- 2014年
- 针对已有I/O记录重放工具在测试存储系统性能上缺乏简单而精确地重现I/O负载的能力,容易给存储系统性能指标观测值带来显著误差的问题进行了测试方法研究,提出了一个精确的块级别存储系统性能测试工具IOmark。它重放来自真实存储系统的I/O记录,使用Linux内核态异步I/O实现对块级别存储系统的访问,通过跟踪生成的I/O请求的状态和I/O记录中的请求时间来控制I/O请求的发送时间并筛选I/O记录中的盘号来控制负载轻重,从而实现精确地重放I/O负载的功能。实验表明,IOmark能在trace指定时间内将I/O请求发送出去,发送时间误差为0;与同类测试工具相比,引入的测试误差小,对存储系统的性能评测更准确。
- 宋丽丽张广艳蔡涛郑纬民
- 关键词：I
