搜索到7675篇“ PREPROCESSING“的相关文章
一种近红外光谱数据预处理组合优化策略
2025年
预处理是构建近红外光谱检测模型的重要环节,影响着近红外光谱检测的精度。目前已有的预处理方法种类众多,不同方法用于解决不同类型的噪声和无关信息,从而提高信噪比,如何优化样品的光谱数据和预处理组合的选择对模型结果至关重要。为此,提出一种用于近红外光谱模型校准的预处理组合优化策略,包括挑选常用的八种预处理方法建立预处理方法库,利用偏最小二乘方法(PLS)建立定量模型,以建模交叉验证均方根误差(RMSECV)为迭代标准,从库中简单高效地选出提高模型优良校准能力的预处理组合。基于该策略的结构设计,选用优化领域中的贪婪算法作为寻优手段,通过对每一步的预处理方法进行寻优完成全局优化,简洁高效地完成光谱数据预处理组合的选择。提出的策略在小麦、猪肉等公开数据集上进行了测试,与同类的堆叠策略(Stacked)和多块数据顺序正交融合策略(SPORT)进行比较。结果显示,在小麦数据集上,提出的策略较Stacked和SPORT策略的校正均方根误差(RMSEC)分别降低了12%,6%,预测均方根误差(RMSEP)分别降低了32%,17%;在猪肉数据集上,提出的策略较Stacked和SPORT策略的RMSEC分别降低了49%,48%,RMSEP分别降低了46%、41%,显示出了较好的校准性能。最后,分析了该策略所选出的预处理方法在模型校准中各自的贡献度,讨论了该策略在模型可解释性、防止过拟合方面的潜力。该策略为近红外光谱的预处理方法选择提供了一种新的思路。
周宇坤陈孝敬谢忠好石文袁雷明陈熙黄光造
关键词:近红外光谱组合优化贪婪算法
基于优化预处理方法的时变重力场反演精度分析
2025年
针对GRACE Level1B观测数据中存在缺失数据及含有粗差的问题,提出补全SCA1B缺失数据的优化方法,同时对KBR1B和运动学轨道数据采用优化策略剔除粗差,用于时变重力场模型反演。此外,还分别基于合成数据和实测数据分析ACC1B数据在Y轴方向的误差对反演结果的影响,并提出优化校正策略。利用优化方法能够有效恢复SCA1B的缺失数据,且充分考虑了观测数据在整个弧段的变化特征。采用优化策略校正后的ACC1B数据计算结果显示,其精度比未校正的数据计算结果提高3.7 mm。从结果可知,由优化方法处理后的数据解算的重力场模型与三大官方机构解算结果相比,总体精度相当,但不同机构的解算结果在局部区域的细节信号表现有差异,表明优化的数据预处理策略有效可行。
蒲伦游为余彪范东明
关键词:GRACE数据预处理时变重力场时间序列分解
高光谱预处理方法与多模型在分类判别中的对比研究
2025年
高光谱技术能够快速、无损地获取丰富的信息,在植物研究和监测中已成为一种广泛应用的工具。茄科植物作为一种重要的经济农作物,与高光谱技术结合进行研究具有巨大的应用潜力。本研究采用高光谱技术对茄科植物的初烤后不同部位叶片进行分类研究。采用Field Spec 3光谱辐射仪对293份不同部位的茄科植物粉末样本进行高光谱采样,采用S-G平滑以及一阶导数和二阶导数的方法对数据进行预处理,用于信息增强和去除噪声,并通过偏最小二乘法对数据进行降维,以减少冗余特征。基于降维数据,采样支持向量机、逻辑回归、K近邻、决策树、随机森林和梯度提升决策树这六种机器学习算法建立分类模型。结果显示,在分类任务中,经过一阶导数处理后,支持向量机模型最佳,在训练集和测试集上分别实现了100.0%和84.7%的准确率。经网格参数优化后确定最优参数为:最大深度不限制,最小样本分割数为4,估计器数量为200。参数优化后五折交叉验证准确率为88.1%,训练集准确率为100%,测试集准确率为86.4%。研究结果表明,预处理方法结合降维方法能够增强数据信息使得分类模型能够更好地捕捉茄科植物样本的特征。该研究对于快速、准确、无损地区分茄科植物的部位具有重要意义。
居雷于洁吴炎淼李丽卢天丁亚萍束茹欣
Hybrid 1DCNN-Attention with Enhanced Data Preprocessing for Loan Approval Prediction
2024年
In order to reduce the risk of non-performing loans, losses, and improve the loan approval efficiency, it is necessary to establish an intelligent loan risk and approval prediction system. A hybrid deep learning model with 1DCNN-attention network and the enhanced preprocessing techniques is proposed for loan approval prediction. Our proposed model consists of the enhanced data preprocessing and stacking of multiple hybrid modules. Initially, the enhanced data preprocessing techniques using a combination of methods such as standardization, SMOTE oversampling, feature construction, recursive feature elimination (RFE), information value (IV) and principal component analysis (PCA), which not only eliminates the effects of data jitter and non-equilibrium, but also removes redundant features while improving the representation of features. Subsequently, a hybrid module that combines a 1DCNN with an attention mechanism is proposed to extract local and global spatio-temporal features. Finally, the comprehensive experiments conducted validate that the proposed model surpasses state-of-the-art baseline models across various performance metrics, including accuracy, precision, recall, F1 score, and AUC. Our proposed model helps to automate the loan approval process and provides scientific guidance to financial institutions for loan risk control.
Yaru LiuHuifang Feng
Preprocessing and Efficacy Analysis of Comprehensive Anti-Inflammatory Treatment for Lymphedema in Patients with Irritating Contact Dermatitis
2024年
Objective: To explore the pre-treatment and efficacy analysis of comprehensive anti-inflammatory treatment for lymphedema in patients with irritating contact dermatitis. Method: Convenience sampling method was used to observe the skin of 160 patients with upper limb lymphedema admitted to the lymphedema outpatient department of our hospital. They were divided into an observation group (80 cases) and a control group (80 cases), and both groups received a course of comprehensive anti-inflammatory treatment (20 treatments). The control group received routine skin care;On the basis of the control group, the observation group received pre-treatment of the affected limb skin: Laofuzi herbal ointment was applied externally to the prone areas of irritating contact dermatitis (such as the upper arm, inner forearm, and cubital fossa). Result: The incidence of irritating contact dermatitis in the observation group was significantly lower than that in the control group (P 0.05). Patients in the observation group felt significantly better in terms of comfort, skin moisture, and itching relief after being wrapped with low elasticity bandages than those in the control group (P Conclusion: Preventive treatment can effectively reduce the incidence of irritating contact dermatitis, prolong the time of stress treatment, thereby increasing efficacy and improving patient compliance.
Qiaoling ZhongFeng LiuHuiting ZhangLiping ZhangJinlan LiLijuan ZhangNa LiQinghua Luo
振动信号数据预处理方法
2024年
振动信号是结构健康监测中一种主要的数据类型。从振动信号中可以识别出模态频率、阻尼等结构动力特性指标。但是从结构健康监测系统采集到的振动信号往往含有噪声和异常,这对结构动力特性指标的识别带来严重的影响。为了提高动力特性指标的识别精度,文章根据结构振动信号的特点,提出一种结构健康监测场景的振动信号预处理方法。首先采用箱型图标注离群值,使用三次样条插值法插补缺失值;利用基于中心频率法的变分模态分解(VMD)对原始信号进行分解,通过峭度值筛选有效的本征模态函数分量(IMF),再将有效分量重构。通过模拟信号及工程实测信号两个案例考察该方法的预处理效果。结果显示,经过所提出方法处理的信号,其信噪比效果最佳,模态频率均能被精准识别。因此,文章提出的方法能对振动信号进行有效清洗,有利于提高动力特性指标识别精度。
叶婉玲饶瑞
关键词:振动数据数据预处理三次样条插值
随钻监测数据预处理方法研究
2024年
为攻克多维异构随钻监测数据处理难题,本研究分析多钻孔钻进数据特征,采用统计分析和机器学习方法,提出了一种数据预处理方法。该方法首先对原始钻进数据特征进行分析,确定了稳定钻进阶段数据提取判断标准,提出识别异常钻进数据的准则,并评估了多种方法在钻进数据缺失修补和滤波降噪方面的适用性。结果表明:两点线性插补方法取得了最低的误差指标和最佳的缺失插补效果;巴特沃斯滤波器在不同噪声类型下均取得了最优的滤波效果。最后,开发了轻量化钻进数据自动预处理软件,并在工程案例中验证了其快速完成数据提取、分类、修补和降噪的能力。研究结果为工程实践提供了可靠的理论依据和数据支持。
肖浩汉曹瑞琅王玉杰赵宇飞孙彦鹏
关键词:数据预处理
重力卫星加速度计数据预处理研究
2024年
静电悬浮加速度计主要用于测量重力卫星质心处受到的非保守力,是重力卫星的核心载荷,卫星平台和环境中的各类干扰均会对加速度计测量产生影响.本文重点研究了GRACE Follow-On卫星加速度计ACC1A原始数据的预处理方法,给出了加速度计数据预处理详细流程,重点分析了卫星平台和环境中各类干扰引起加速度计数据异常的量级和处理方法(包括姿控推力器推力偏差、磁力矩器干扰、温控开关、阻尼震荡等引起的异常影响).基于加速度计ACC1A原始数据生成ACT1A产品和ACT1B产品,并与JPL发布相应产品进行比较.结果表明,ACT1A产品的三轴线加速度残差中误差优于10^(-17)m·s^(-2),残差幅度谱密度优于10^(-18)m·s^(-2)/(Hz)^(1/2),ACT1B产品的三轴线加速度残差中误差优于10^(-11)m·s^(-2),残差幅度谱密度优于10^(-12)m·s^(-2)/(Hz)^(1/2),均低于加速度计测量精度10^(-10)m·s^(-2),生成的产品可以用于后续重力场反演.
潘宗鹏肖云刘晓刚刘晓刚
关键词:重力卫星加速度计数据预处理
卡尔曼滤波在海洋浮标数据预处理中的应用被引量:1
2024年
【目的】优化自动化数据预处理方法,以提高海洋浮标数据质量。【方法】结合海洋浮标数据特征,提出了一种改进的自适应卡尔曼滤波自动化数据预处理方法,该方法通过箱型图进行异常值的检测,并采用方差受限的方法解决测量噪声导致的滤波发散问题。【结果与结论】海上工程应用和仿真实验结果表明,改进的算法计算开销低且不影响浮标系统的正常采集和数据融合工作,浮标数据采集率达100%,云数据中心数据接收率达97%。浮标采集的原始数据经过异常值修正和滤波降噪处理后,数据曲线更为平滑且符合随时间序列变化的规律,数据预处理效果良好。
张新文林冠英刘同木周保成
关键词:海洋浮标数据预处理卡尔曼滤波算法
Research on Image Preprocessing Algorithm for Rail Surface Recognition
2024年
The rail surface status image is affected by the noise in the shooting environment and contains a large amount of interference information, which increases the difficulty of rail surface status identification. In order to solve this problem, a preprocessing method for the rail surface state image is proposed. The preprocessing process mainly includes image graying, image denoising, image geometric correction, image extraction, data amplification, and finally building the rail surface image database. The experimental results show that this method can efficiently complete image processing, facilitate feature extraction of rail surface status images, and improve rail surface status recognition accuracy.
Jihong ZuoLili LiuChuanyin YangYufeng Tang

相关作者

佟继周
作品数:27被引量:20H指数:4
供职机构:中国科学院国家空间科学中心
研究主题:PDS 虚拟天文台 光学观测 数据库系统 日地空间
邹自明
作品数:66被引量:86H指数:5
供职机构:桂林理工大学机械与控制工程学院
研究主题:空间环境 温度控制 日地空间 磁力线 科学数据
郑岩
作品数:9被引量:6H指数:1
供职机构:中国科学院空间科学与应用研究中心
研究主题:PDS 行星科学 DATA 数据库系统 标签
李琪
作品数:191被引量:2,043H指数:24
供职机构:西安交通大学经济与金融学院
研究主题:电子商务 消费者 意愿研究 实证研究 网络购物
李俊
作品数:161被引量:248H指数:9
供职机构:南京航空航天大学
研究主题:遥感影像 入侵检测 钢筋腐蚀 板翅式换热器 云检测