汪振
- 作品数：1 被引量：8H指数：1
- 供职机构：桂林电子科技大学计算机与信息安全学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于内存与文件共享机制的Spark I/O性能优化被引量：8
- 2017年
- 通过对Spark采用的弹性分布式数据集及任务调度等关键技术进行分析,发现数据处理I/O时间是影响Spark计算性能的主要瓶颈。为此,研究Spark合并文件运行模式,该模式能够减少缓存文件数量,提高Spark的I/O效率,但存在内存开销较高的缺点。在此基础上,给出改进的Spark Shuffle过程,即通过设计一种使每个Mapper只生成一个缓存文件的运行模式,并且每个Mapper共享同一个内存缓冲区,从而提高I/O效率和减少内存开销。仿真结果表明,与Spark默认模式相比,该运行模式宽依赖计算过程的I/O时间缩短42.9%,可有效提高内存利用率和Spark平台运算效率。
- 黄廷辉王玉良汪振崔更申
- 关键词：分布式计算磁盘I/O
