搜索到21447篇“ 网络数据采集“的相关文章
网络数据采集被引量:1
2014年
数据是软件与应用最重要的组成部分,数据分为大量数据和少量数据数据的形式又是多种多样的,如文字、图片、音频和视频等。大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。在大数据时代,可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据。因此,数据采集也成为一门关键的技术。本文研究了数据采集的理论基础、工作流程、逻辑设计等内容。有了网络爬虫,以上难题便迎刃而解。
王伟
关键词:数据采集网络爬虫网页分析
网络数据采集方法及装置
本申请公开了一种网络数据采集方法及装置,获取需要采集数据的目标网页链接;判断预设数据库中是否存储有与目标网页链接相同的网页链接;若预设数据库中存储有与目标网页链接相同的网页链接,则跳过目标网页链接。本申请在数据采集时,通...
张金灿艾翔
一种网络数据采集与存储系统
本发明公开了一种网络数据采集与存储系统,数据采集单元包括具有第一缓冲区与第二缓冲区的数据采集器;数据采集器首先将数据写入第一缓冲区中,在数据开始写入第二缓冲区的同时,用户程序取出第一缓冲区中的数据进行处理;当第二缓冲区被...
任伊玮陈阳曾涛
网络数据采集方法、装置和系统
本申请提出一种网络数据采集方法、装置和系统,一种网络数据采集方法包括:源NWDAF向目标NWDAF发送网络功能数据采集请求,网络功能数据采集请求包括请求采集数据的至少一个网络功能的数据采集辅助参数;源NWDAF接收目标N...
洪英杰
一种网络数据采集方法及系统
本发明公开了一种网络数据采集方法及系统,系统包括管理终端和站点,方法应用在网络数据采集系统上,包括:管理终端根据待采集设备的设备型号对待采集设备进行分类,为各类待采集设备配置对应的采集模板与解析模板;管理终端根据采集策略...
王志伟庞涛
网络数据采集处理方法、装置和电子设备
本发明实施例公开了网络数据采集处理方法、装置和电子设备,该方法包括:获取目标网络数据;根据所述目标网络数据生成调度数据文件和调度控制文件,其中,所述调度数据文件用于存储需要采集的任务,所述调度数据文件中的每条记录包括数据...
刘龙强
一种计算机网络数据采集分析管理方法及系统
本发明公开了一种计算机网络数据采集分析管理方法及系统,所述系统包括网络采集分析平台、云服务器、多个第一终端、至少一个第二终端,所述第二终端用于向云服务器上传或共享网络数据,并根据网络数据传输状态配置网络传输参数;所述分析...
郭治毫薛永平丘刚玮马朝霞覃广荣杨盈图
网络数据采集方法、装置、电子设备及计算机存储介质
本申请提供一种网络数据采集方法、装置、电子设备及计算机存储介质,所述方法包括:获取与采集端对应的采集端通讯信息和与设备端对应的设备端通讯信息,所述采集端和所述设备端通讯连接;根据所述采集端通讯信息和所述设备端通讯信息,配...
姚健林王敏
一种基于完全二叉树网络架构的网络数据采集方法
本发明属于数据采集技术领域,具体涉及一种基于完全二叉树网络架构的网络数据采集方法,包括有以下步骤,对中心节点进行网络架构初始化,接收网络节点的注册信息;中心节点完成新节点的注册,完成网络的构建;中心节点发起数据采集请求,...
任泽成薛雨彤寇歆梓夏圣宝刘宏楠雷渠江
一种网络数据采集采集装置
本实用新型涉及网络数据采集技术领域,具体为一种网络数据采集采集装置,包括:主体;顶盖,其设置于所述主体的顶部;限位杆,其设置于所述顶盖的下方;通过卡块对采集器进行限位,使得采集器在使用时更加稳定,采集器通过弹簧与卡块相...
刘成

相关作者

郭岩
作品数:82被引量:396H指数:10
供职机构:中国科学院计算技术研究所
研究主题:网页 抽取 大规模网络 抽取方法 页面
程学旗
作品数:664被引量:6,203H指数:28
供职机构:中国科学院计算技术研究所
研究主题:文本 抽取 大数据 社交网络 抽取方法
余智华
作品数:74被引量:400H指数:13
供职机构:中国科学院计算技术研究所
研究主题:大规模网络 信息采集 信息来源 网页 网络数据
刘悦
作品数:211被引量:493H指数:12
供职机构:中国科学院计算技术研究所
研究主题:网页 抽取 文本 社交网络 大规模网络
俞晓明
作品数:69被引量:53H指数:5
供职机构:中国科学院计算技术研究所
研究主题:大规模网络 网页 信息来源 文本 信源