搜索到192篇“ MARKOV决策过程“的相关文章
基于灵敏度公式新方法下连续时间Markov决策过程的方差优化
由于方差准则在金融工程,指挥与控制领域上日益显著的重要意义,本文重点研究在对平均性能不做任何约束的条件下,连续时间Markov决策过程的方差最小问题.但是,由于方差性能函数的计算涉及到长期平均性能的计算,导致在方差准则下...
孙紫仪
基于约束Markov决策过程的初至自动识别技术被引量:3
2021年
随着地震数据采集技术的进步,地震数据量日益增加,全自动、高精度的地震初至走时拾取技术受到了更加广泛的关注.本文将初至拾取看作特征空间内带约束的Markov决策过程,在奖励函数空间,按一定准则全局寻优获得积累奖励值最大的路径,从而达到在高维空间自动拾取初至信息的目的.同时,状态值函数中包含与距离相关的折扣因子γ,使Markov决策过程拾取初至能够考虑地震数据的横向连续性,并且回避地震数据中的坏道信息.在此基础上,本文方法进一步引入受空间几何信息约束的动作(Actions)和转移概率(Transitions Probability),从而降低了对起始状态和折扣因子选取的难度,让地震数据初至走时拾取更加准确和自动化.实际数据测试结果表明,在初至能量较弱(信噪比较低)情况或浅层存在相邻较近复杂波形时,本文提出的约束Markov算法仍能准确地进行初至走时的自动拾取,并且具有一定的质量监控能力,让拾取结果更有物理意义.
罗飞王华忠
关键词:MARKOV决策过程
结构元理论下的模糊Markov决策过程被引量:1
2020年
为解决模糊Markov决策过程中λ-截集计算的复杂性问题,利用模糊结构元理论建模及求解.对于状态模糊情况,分别给出全部状态模糊与部分状态模糊的模糊Markov过程定义,模糊结构元建模及优化决策;给出具有模糊转移矩阵的Markov过程定义,结构元建模及优化决策;给出状态及转移矩阵均模糊的Markov过程定义,结构元建模及优化决策.实例分析结果表明:模糊Markov过程的结构元建模及优化决策是简单有效的.
任思行郭嗣琮曾繁慧
关键词:模糊结构元
连续时间Markov决策过程的方差优化问题
本文考虑连续时间Markov决策过程平均报酬的方差优化问题.假设状态空间是可数的,行动空间是Borel可测空间.本文的主要目的是在确定性平稳策略类里寻找方差最小的策略.有别于传统的Markov决策过程,该方差准则中的费用...
付亚青
文献传递
基于Markov决策过程的电池储能一次调频能量管理策略被引量:3
2019年
一次调频市场机制下的电池储能系统能量管理,需要在维持应对频率波动双向调节能力的基础上权衡运行成本和调频收益,以追求电池生命周期内的经济效益最大化。揭示了能量管理序贯决策本质上属于受控Markov过程,据此,通过频率响应需求动态转移的连续时间Markov链描述,以及基于生命周期吞吐量角度的储能电池容量动态衰退刻画,建立了以电池生命周期内经济效益期望值最大化为目标的Markov决策模型。针对运用标准迭代算法求解上述模型所面临的'维数灾'问题,提出了具有状态空间分解及后继状态辨识特征的降维并行值迭代(DRPVI)算法。算例结果表明:所得动态阈值结构能量管理策略可以显著提升储能经济效益,DRPVI算法能够有效缩减冗余计算,改善求解效率。
温可瑞李卫东张明泽王振南吴港
关键词:一次调频电池储能系统能量管理策略MARKOV决策过程
随机需求下双产品混合生产的Markov决策过程研究被引量:4
2018年
基于按订单生产(make to order,MTO)和按库存生产(make to stock,MTS)两种生产模式的产品,考虑可以忽略生产方式转变带来的安装费用及其它固定费用的情况,建立混合MTO/MTS模式下有限期的Markov决策过程(finite Markov decision process,FMDP)模型.比较研究随机需求下同一生产系统混合生产MTO和MTS产品时,MTO优先模式、MTS优先模式与基于FMDP模型的混合MTO/MTS模式(FMDP混合模式)的效率问题.结果表明,MTO订单量、MTS库存量和产品需求强度是影响FMDP混合模式决策的关键因素,而剩余决策期数、单位MTO订单延迟交货罚金和MTS处理成本则只会在短期内对生产决策产生影响;同时,当企业MTO订单量减少或者MTS产品需求强度降低时,FMDP混合模式比MTS优先模式更优;当MTS产品库存量降低或者MTO产品需求强度降低时,FMDP混合模式同样优于MTO优先模式.
曹裕吴堪熊寿遥
半Markov决策过程强化学习算法研究
强化学习作为机器学习领域中的一种主要算法,在智能决策和行为认知等领域有着重要作用,也是解决随机序贯决策问题的有效方法。虽然强化学习算法在基础理论研究和应用等方面取得了显著的成果,但大部分研究将系统所处环境都建模为Mark...
杨家源
关键词:半马尔可夫决策过程强化学习算法
基于Markov决策过程的输变电设备最佳检修决策被引量:18
2017年
为解决现有输变电设备检修决策很大程度依赖于决策人员经验的问题,应用Markov决策过程为检修决策提供定量、具体的决策依据。首先通过Markov过程求解设备的状态转移概率;然后运用策略迭代法对模型最优决策进行求解;最后将数据代入检修决策模型中,改变故障损失得到决策结果的变化。比较决策变化对应的设备故障损失和设备稳态概率可得知:所建立的基于状态的检修(CBM)模型适用于安装了在线监测装置的设备,而基于检测的检修(IBM)模型适用于无在线监测装置的设备;最优决策从维修成本最小的决策过渡到最后每次决策时都选择大修,整个变化过程证明了应用Markov决策可以折中维修成本和故障损失得到经济最优决策。研究结果可为检修决策人员提供定量的检修计划。
贾京苇侯慧娟杜修明段大鹏盛戈皞江秀臣
关键词:输变电设备MARKOV过程MARKOV决策过程
基于Markov决策过程的列控系统定量安全分析方法被引量:1
2016年
为了在列控系统的设计阶段和安全评估阶段对系统隐患进行把握,对系统的设计进行定量安全分析是至关重要的。定量分析的结果可以用来判断和比较设计的优劣,也可用来评估隐患的风险,并根据分析结果判断所采取的隐患控制措施是否使隐患的风险被控制在可接受的范围内。本文应用以Markov决策过程为基础的建模方法,对列控系统中的双车追踪场景进行系统行为建模,集成系统正常行为和失效行为,提出综合系统行为模型CBM,并通过概率模型检验工具PRISM对危险失效概率进行准确计算,提出列控系统定量安全分析方法。
周果赵会兵
关键词:列控系统MARKOV决策过程
连续时间Markov决策过程互模拟等价及逻辑保持被引量:1
2016年
模型检测中,Markov决策过程可以建模具有不确定性的系统,然而状态空间爆炸问题将会影响系统验证的成败与效率,互模拟等价可以用于系统状态的简约.在强互模拟关系的基础上,给出Markov决策过程模型弱互模拟等价关系的概念,导出了连续时间Markov决策过程及其内嵌离散时间Markov决策过程互模拟等价关系的内在联系;在强互模拟等价关系逻辑特征保持的基础上,给出弱互模拟等价关系下的逻辑保持性质,证明了弱互模拟等价的两个状态,同时满足除下一步算子外的连续随机逻辑公式,从而可以将原模型中的验证问题转换为简约后模型的验证问题,提高验证的效率.
黄镇谨陆阳杨娟王智文
关键词:马尔科夫链

相关作者

殷保群
作品数:124被引量:307H指数:10
供职机构:中国科学技术大学
研究主题:性能势 优化算法 MARKOV决策过程 MARKOV控制过程 闭排队网络
奚宏生
作品数:254被引量:781H指数:12
供职机构:中国科学技术大学信息科学技术学院
研究主题:性能势 流媒体 鲁棒自适应控制 随机非线性系统 最优控制
陈焕文
作品数:55被引量:95H指数:5
供职机构:湖南信息工程职业技术学院
研究主题:人工智能 激励学习算法 MARKOV决策过程 智能体 神经网络
江琦
作品数:45被引量:52H指数:5
供职机构:合肥工业大学
研究主题:策略迭代 MARKOV决策过程 QOS保证 无线接入网 动态电源管理
徐昕
作品数:138被引量:826H指数:11
供职机构:国防科学技术大学
研究主题:计算机设备 数据驱动 机器人 存储介质 移动机器人