张陶
- 作品数：30 被引量：222H指数：9
- 供职机构：新疆大学信息科学与工程学院更多>>
- 发文基金：国家自然科学基金新疆维吾尔自治区自然科学基金博士科研启动基金更多>>
- 相关领域：自动化与计算机技术医药卫生更多>>
- 适应节能与异构环境的MapReduce数据布局策略被引量：2
- 2015年
- 大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储策略增加了对异构集群环境的适应能力,并能根据不同的作业类型进行存储节点的选择。实验结果表明:新的数据布局策略能够适应异构集群环境,达到减小MapReduce作业能耗的目的。
- 廖彬张陶于炯刘继钟磊刘炎
- 关键词：MAPREDUCE异构环境
- 图神经网络节点分类任务基准测试及分析
- 2024年
- 图神经网络(Graph Neural Network,GNN)模型由于采用端到端的模型架构,在训练过程中能够更好地将节点隐藏特征的学习和分类目标协同起来,相比图嵌入(Graph Embedding)的方法,其在节点分类等任务上得到了较大的性能提升。但是,已有图神经网络模型实验对比阶段普遍存在的数据集类型单一、样本量不足、数据集切分不规范、对比模型规模及范围有限、评价指标单一、缺乏模型训练耗时对比等问题。为此,文中选取了包括cora,citeseer,pubmed,deezer等在内的来自不同领域(引文网络、社交网络及协作网络等)的共计20种数据集,以准确率、精确率、召回率、F-score值及模型训练耗时为多维评价指标,在FastGCN,PPNP,ChebyNet,DAGNN等17种主流图神经网络模型上,进行了全面且公平的节点分类任务基准测评,进而为真实业务场景下的模型选择提供了决策参考。通过基准测试实验发现,一方面,影响模型训练速度的因素排名依次是节点属性维度、图节点规模及图边的规模;另一方面,并不存在赢者通吃的模型,即不存在在所有数据集下全都表现优异的模型,特别是在公平的基准测试配置环境下,结构简洁的模型反而比复杂的GNN模型有着更好的性能表现。
- 张陶张陶于炯于炯李敏
- 基于GraphX的传球网络构建及分析研究被引量：8
- 2016年
- 虽然大数据技术在社交网络、金融、公共安全、医疗卫生等领域的应用不断成熟,但在竞技体育方面的应用还处于探索阶段.常规篮球统计中缺乏对传球数据的记录,更缺乏对传球数据的统计分析、价值挖掘及应用等方面的研究.1)由于传球数据汇聚形态为图,在传球数据获取、数据清洗及格式转化、Vertex与Edge表构建的基础上,通过GraphX构建传球网络图为其应用打下基础;2)提出PlayerRank值区分球员重要度、球员位置个性化图顶点等方法提高传球网络可视化质量;3)通过GraphX构建的传球网络分析传球数量与质量对比赛结果的影响,并例举了传球网络在球队传球数据分析、战术人员选择、临场战术制定、网络子图及游戏体验改进等方面的应用.
- 张陶于炯廖彬国冰磊卞琛王跃飞刘炎
- 互联网+穿戴式心电监护设备的研发被引量：9
- 2017年
- 目的:通过建立"互联网+医疗设备"系统,打破医疗监测设备空间限制,实现远程、实时的监控人体生理数据,探索一条将医疗监护设备微型化、无线化、简单易用、廉价的穿戴之路。方法:系统分两部分:信用卡大小的传感器粘贴到皮肤上使用,为了力求穿戴舒适感,重量15g,最大厚度3mm,只包含电池、心电采集传感器、柔性电路和蓝牙模块;手机APP通过蓝牙采集传感器心电数据,使用手机数据网络传输数据到医院数据库和主管医生手机上,对患者进行实时心电监测。结果:此设备原型实现了微型化、可穿戴、能耗低、可以完成长时间的心电监测工作;由于体积限制,一个传感器只能完成一导联信号。结论:此穿戴式心电设备通过与医院数据库的远程连接自动建立实时、高密度的个人健康档案。减少住院观察时间,为患者提供不间断的医疗健康服务。但是后续还需要增加多导联数据采集功能,提高持续穿戴舒适感。
- 姬金虎夏文文张陶张庭旭周明璋
- 云计算环境下基于改进粒子群的任务调度算法被引量：26
- 2013年
- 现有云计算任务调度算法为追求最短完成时间不能很好地兼顾成本。为此,提出一种基于改进粒子群的任务调度算法。采用间接编码方式对每个子任务占用的资源进行编码,给出解码方式,定义考虑时间和成本的适应度函数,确立粒子位置和速度的更新方法。实验结果表明,在相同的条件设置下,该算法的总任务完成时间和总任务完成成本小于传统粒子群优化算法。
- 封良良张陶贾振红夏晓燕覃锡忠
- 关键词：云计算任务调度粒子群优化算法
- 基于图嵌入与支持向量机的社交网络节点分类方法被引量：9
- 2021年
- 针对无属性社交网络的节点分类问题,提出了一种基于图嵌入与支持向量机,利用社交网络中节点之间关系特征,对节点进行分类的方法。首先,通过DeepWalk、LINE等多种图嵌入模型挖掘节点隐含关系特征的同时,将高维的社交网络数据转换为低维embedding向量。其次,提取节点度、聚集系数、PageRank值等特征信息,组合构成节点的特征向量。然后,利用支持向量机构建节点分类预测模型对节点进行分类预测。最后,在三个公开的社交网络数据集上实验,与对比方法相比,提出的方法在社交网络节点分类任务中能取得更好的分类效果。
- 张陶于炯廖彬余光雷毕雪华
- 关键词：社交网络图嵌入支持向量机
- 基于Spark的MapReduce相似度计算效率优化被引量：3
- 2017年
- 随着互联网的用户及内容呈指数级增长,大规模数据场景下的相似度计算对算法的效率提出了更高的要求。为提高算法的执行效率,对MapReduce架构下的算法执行缺陷进行了分析,结合Spark适于迭代型及交互型任务的特点,基于二维划分算法将算法从MapReduce平台移植到Spark平台;同时,通过参数调整、内存优化等方法进一步提高算法的执行效率。通过2组数据集分别在3组不同规模的集群上的实验表明,与MapReduce相比,在Spark平台下算法的执行效率平均提高了4.715倍,平均能耗效率只有Hadoop能耗的24.86%,能耗效率提升了4倍左右。
- 廖彬张陶于炯国冰磊刘炎
- 关键词：相似度计算MAPREDUCE能耗优化
- 基于操作历史图的分布式Key-Value数据库一致性检测算法被引量：9
- 2019年
- 分布式数据库系统的副本机制在提高系统可靠性及性能的同时,导致了多副本数据管理的一致性问题;数据一致性的实现需要一致性协议模型来进行预防,也需要一致性检测算法对非一致数据进行检测。首先,对读写操作记录之间的时序关系、安全一致性及并行一致性原则等概念进行定义;其次,根据操作记录集合中读写操作之间的并行与时序关系,提取出操作记录集合向操作记录图转化的规则,并在此基础上设计了操作记录向历史记录图的转化算法;然后,以历史记录图为输入,设计了违反一致性查找算法,查找并返回图中所有违反安全与并行一致性读操作的集合;最后,基于Cassandra进行实验并将读写一致性设置为ONE,通过YCSB产生并行读写压力测试,与同类算法的对比实验验证了所提算法在功能与效率两方面的优越性。
- 廖彬张陶李敏于炯国冰磊刘炎
- 关键词：分布式数据库DAG图
- 一种适应节能的云存储系统元数据动态建模与管理方法被引量：7
- 2013年
- 云存储规模的不断扩大以及设计时对能耗因素的忽略使其日益暴露出高能耗低效率的问题,并且此问题已经成为制约云计算与大数据快速发展的一个主要瓶颈.从云存储系统的元数据信息的组成与组织方式考虑系统的节能改进与适应性问题,提出适应节能的元数据建模与管理方法,将存储磁盘及节点状态、数据块存储位置与状态等信息纳入到新的元数据模型中.围绕节能的元数据模型设计了适应该模型的节能模式切换算法,有效的解决了现有算法与节能算法或策略的不匹配问题.实验结果表明:适应节能的元数据模型与算法能够提高系统磁盘级的能耗利用率.
- 廖彬于炯张陶杨兴耀英昌甜
- 关键词：大数据节能计算元数据模型
- Spark DAG优化MapReduce协同过滤算法被引量：3
- 2017年
- 大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,高效率低成本的大数据处理技术成为学术界及工业界的研究热点。为提高协同过滤算法的执行效率,对MapReduce架构下的算法执行步骤进行了分解,并对算法执行缺陷进行了分析。结合Spark适于迭代型及交互型任务的特点,提出将算法从MapReduce平台移植Spark平台的改进思路。设计了算法在Spark中的实现流程,并通过参数调整、内存优化等方法进一步提高算法效率。实验结果表明:与MapReduce平台中的算法相比,基于Spark DAG调度的算法能够减少65%以上的HDFS重复I/O操作,执行效率与能耗效率分别提升近200%及50%。
- 廖彬张陶于炯国冰磊张旭光刘炎
- 关键词：协同过滤MAPREDUCESPARK能耗优化
