胡庆宝
- 作品数：24 被引量：48H指数：4
- 供职机构：中国科学院高能物理研究所更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家科技重大专项更多>>
- 相关领域：自动化与计算机技术理学电子电信更多>>
- 一种基于访问特征的高能物理文件存储方法
- 本发明公开了一种基于访问特征的高能物理文件存储方法，其步骤包括：设置多种数据类别，每一类别数据设置一对应的数据放置策略；对于每一类别数据，分别从存储系统中选取多个数据文件及其访问记录，同一数据文件对应提取M条访问记录；对...
- 程振京徐琪王聪程耀东汪璐李海波胡庆宝
- 文献传递
- 一种基于高能物理事例的数据管理与传输方法
- 本发明公开了一种基于高能物理事例的数据管理与传输方法，其步骤包括：设置一主站点和若干分站点；在每一分站点上设置一数据传输客户端，在主站点上设置一数据传输服务端；定期将事例数据存储到主站点，以及从事例数据中提取事例特征数据...
- 王聪程耀东李海波徐琪程振京胡庆宝
- 文献传递
- 分布式计算站点统一部署和监控系统的研究与实现
- 2018年
- 近几年,高能物理合作的分布式计算站点数量越来越多,分布越来越广。物理软件的运行需要有稳定可靠的计算环境和统一的系统软件配置。本文通过对分布式站点统一部署和监控方案进行研究,从分布式架构设计、软件配置的文件同步和监控数据的采集进行了研究和设计,实现站点统一管理和运维。该方案的研究和实现有利于分布式计算站点的统一配置和集中运维,减轻管理和运维成本,保障物理作业在各个站点的可靠运行。
- 郑伟闫晓飞胡庆宝
- 关键词：分布式监控
- 基于Elasticsearch的实时集群日志采集和分析系统实现
- 传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求.本文从实际需求出发,结合flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统.通过预设日志规则库,实时统计并展示...
- 胡庆宝姜晓巍石京燕程耀东
- 关键词：软件开发预警信息
- 文献传递
- 一种基于高能物理事例的数据管理与传输方法
- 本发明公开了一种基于高能物理事例的数据管理与传输方法，其步骤包括：设置一主站点和若干分站点；在每一分站点上设置一数据传输客户端，在主站点上设置一数据传输服务端；定期将事例数据存储到主站点，以及从事例数据中提取事例特征数据...
- 王聪程耀东李海波徐琪程振京胡庆宝
- 文献传递
- DeepWeb可配置聚焦爬虫设计与实现被引量：3
- 2014年
- 大数据时代如何精确而有效地抓取用户所需要的数据成为了一个至关重要的问题,提出一种可配置的聚焦网络爬虫框架,基于配置文件的设置,构建一个数据采集精确、可控性强的聚焦网络爬虫。在此基础上改进聚焦爬虫工作流程,实现Deep Web表单自动提交以及Deep Web数据抓取。实验通过高能物理研究所网站与手机腾讯微博的数据爬取以及爬虫在高能物理研究所大数据平台上的实际运行效果说明了爬虫设计的有效性与实用性。
- 罗成程耀东胡庆宝李海波
- 关键词：聚焦爬虫DEEPWEB大数据
- 一种共享虚拟资源池份额调度方法及系统
- 本发明公开了一种共享虚拟资源池份额调度方法及系统。本方法为：对每个业务应用分别进行实时监测，获得每个业务应用运行状况以及当前运行的虚拟机资源总数；其中，所述业务应用运行状况包括业务应用当前运行的作业数量以及排队等待运行的...
- 李海波程耀东程振京胡庆宝王聪徐琪
- 文献传递
- Kubernetes异构资源细粒度调度策略的设计与实现被引量：3
- 2023年
- 在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。
- 刘志彬黄秋兰胡庆宝程耀东胡誉田浩来
- 关键词：异构资源资源调度
- 基于众包的社交网络数据采集模型设计与实现被引量：14
- 2015年
- 社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状,基于众包模式,采用C/S架构,设计社交网络数据采集模型,包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题Deep Web爬虫的分布式机器节点自动向服务器请求爬虫任务并上传爬取数据,利用Hadoop分布式文件系统对爬取数据进行快速处理并存储结果数据。实验结果表明,主题Deep Web爬虫系统配置简单,支持功能扩展和目标信息直接获取,数据采集模型具有较快的数据获取速度及较高的信息检索效率。
- 高梦超胡庆宝程耀东周旭李海波杜然
- 关键词：社交网络分布式计算WEB爬虫HADOOP分布式文件系统
- 一种共享虚拟资源池份额调度方法及系统
- 本发明公开了一种共享虚拟资源池份额调度方法及系统。本方法为：对每个业务应用分别进行实时监测，获得每个业务应用运行状况以及当前运行的虚拟机资源总数；其中，所述业务应用运行状况包括业务应用当前运行的作业数量以及排队等待运行的...
- 李海波程耀东程振京胡庆宝王聪徐琪
- 文献传递
