Finite-Horizon Markov Decision Processes with Sequentially-Observed Transitions
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了具有顺序观察转移的有限时间马尔可夫决策过程,提出了一种基于线性规划的高效算法以生成更优策略。
2015-07-04 cs.SY eess.SY math.OC
Fast Approximate Dynamic Programming for Infinite-Horizon Markov Decision Processes
在本研究中,我们考虑具有可分离成本及状态与输入变量受限制之随机非线性系统之无限时域、折扣成本最优控制。利用线性时间勒让德变换,我们提出了一种新的数值方案,实现相应的值迭代(VI)算法的共轭域。详细分析了算法的收敛性、时间复杂度和误差。特别是,与离散化的大小$X$和$U$的状态和输入空间,分别,所提出的方法降低了时间复杂度的VI算法从$O(XU)$到$O(X+U)$,通过取代的最小化操作在原始域中的共轭域中的一个简单的除了。
2022-03-17 cs.SY eess.SY math.OC
Central-limit approach to risk-aware Markov decision processes
National University of Singapore(新加坡国立大学);Concordia University(康考迪亚大学)
本文提出利用中心极限定理评估长期时间范围内策略的风险,无论转移概率是否已知,并提供基于梯度的策略改进算法以寻找风险目标的局部最优解。
2015-12-02 cs.SY eess.SY math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
On Supervised On-line Rolling-Horizon Control for Infinite-Horizon Discounted Markov Decision Processes
本文研究了具有无限时域折扣期望回报准则的马尔可夫决策过程的滚动时域控制问题。与经典的值迭代方法不同,本文提出了一种基于策略迭代的异步在线算法,并结合策略切换的多策略改进方法。通过仅在当前访问状态下更新当前解来生成预测时域子MDP的单调改进解序列,实际上构建了无限时域上MDP的滚动时域控制策略。如果有“主管”的反馈,也可以在更新时纳入。我们专注于与MDP的过渡结构的收敛问题。该算法在有限时间内实现整体收敛到最优预测策略或局部收敛到“局部最优”固定策略。
2022-06-04 math.OC
Reinforcement Learning: Stochastic Approximation Algorithms for Markov Decision Processes
本文简要介绍了马尔可夫决策过程强化学习中的随机逼近算法。该算法也可以用作部分观测马尔可夫决策过程的次优方法。
2015-12-23 math.OC
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process,提出向量线性规划公式以刻画 Pareto 高效策略,并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
Continuous-time mean-variance portfolio selection under non-Markovian regime-switching model with random horizon
本文研究了具有状态转换和随机水平的连续时间均值-方差投资组合问题。与以前的作品不同,资产的动态描述的非马尔可夫状态转换模型的意义上说,所有的市场参数是可预测的,相对于联合产生的过滤马尔可夫链和布朗运动。我们将此问题表示为一个约束随机线性二次最优控制问题。假设马尔可夫链与布朗运动无关。市场是不完整的。我们推导出封闭形式的最优投资组合和有效前沿的表达式。所有结果都不同于固定时间范围问题的结果。
2022-05-13 math.OC q-fin.MF
Finite horizon risk-sensitive continuous-time Markov decision processes with unbounded transition and cost rates
考虑有限时间内风险敏感的连续时间马尔可夫决策过程。在无界转移和费用率所能满足的条件下,证明了最优策略的存在性,以及一类可能无界函数的最优性方程解的存在唯一性,并证明了Feynman-Kac公式的成立性.
2018-11-28 math.OC
Characterization and computation of infinite horizon specifications over Markov processes
Delft University of Technology(代尔夫特理工大学);University of Oxford(牛津大学)
本文针对一般离散时间马尔可夫过程,研究无限时域规约的形式化验证,通过分析吸收集等结构特征对Bellman方程解唯一性的影响,提出具有显式收敛率和形式误差界的近似计算方法。
2014-07-22 cs.LO cs.SY eess.SY
Risk-sensitive control of continuous time Markov chains
研究了连续时间马尔可夫链在离散状态空间中取值的风险敏感控制问题。我们研究有限和无限的地平线问题。在有限时域问题中,我们通过HJB方程对值函数进行离散化,得到了最优马尔可夫控制。我们对无限期限折扣成本情况也做同样的事情。在无限水平平均成本的情况下,在一定的李雅普诺夫条件下,我们建立了最优平稳控制的存在性。我们还开发了一个策略迭代算法,找到一个最优控制。
2014-09-14 math.OC
Flexible forward improvement iteration for infinite time horizon Markovian optimal stopping problems
在本文中,我们提出了一种扩展的前向改进迭代算法,最初在Irle(2006)中引入,最近在Miclo和Villeneuve(2021)中重新考虑。主要的新成分是一个灵活的窗口参数描述的前瞻距离的改进步骤。本文研究了离散时间中具有随机折扣和无限时间范围的马尔可夫最优停止问题。我们证明了收敛性,并表明,额外的灵活性可能会显着降低运行时间。
2021-11-26 math.OC math.PR q-fin.CP
Structural Results for Partially Observed Markov Decision Processes
这篇文章提供了一个介绍性的教程,在部分观测马尔可夫决策过程(POMDPs)的结构结果。通常,计算POMDP的最优策略在计算上是难以处理的。我们使用格规划的方法来刻画POMDP的最优策略的结构,而无需暴力计算。
2015-12-12 math.OC
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程,研究两人零和随机博弈,在转移率与费用/报酬率上下无界的温和条件下,证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
A Note on Optimization Formulations of Markov Decision Processes
本文总结了马尔可夫决策过程研究中使用的优化公式。我们考虑标准和熵正则化设置下的贴现和未贴现过程。对于每一个设置,我们首先总结了原始,对偶,和原始对偶问题的线性规划制定。然后,我们详细介绍了这些问题和其他配方的马尔可夫决策过程,如贝尔曼方程和政策梯度法之间的联系。
2020-12-17 math.OC
Optimal stopping time on semi-Markov processes with finite horizon
本文研究了有限水平半马尔可夫过程的最优停止问题,目的是建立最优停时的存在性和计算方法。为了实现这一目标,我们首先将有限时域半马尔可夫决策过程(SMDP)的主要结果推广到具有附加终端费用的情形,引入了SMDP的显式构造,并证明了SMPs上的最优停止问题与SMDP上的最优停止问题的等价性.然后,利用等价性和本文的结果,我们不仅证明了SMPs的最优停时的存在性,而且还提供了一个计算SMPs最优停时的算法。此外,我们证明了最优和“-最优停时可以分别由某些特殊集合的首中时来刻画。
2021-07-15 math.OC math.PR
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题,通过平均场近似得到连续HJB方程,并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Exact finite approximations of average-cost countable Markov Decision Processes
对于可数状态马尔可夫决策过程,我们引入一个嵌入,它产生一个有限状态马尔可夫决策过程。有限状态嵌入过程具有相同的最优成本,而且,当约束到近似集时,它具有与原过程相同的动力学特性。嵌入过程可以作为一种近似,它是有限的,更便于计算和实现。
2007-11-14 math.OC math.PR
Sufficiency of Markov Policies for Continuous-Time Jump Markov Decision Processes
本文扩展到连续时间跳马尔可夫决策过程(CTJMDP)的马尔可夫决策过程的经典结果指出,对于一个给定的初态分布,对于每一个政策有一个(随机)马尔可夫策略,它可以被定义在一个自然的方式,这样,在每个时刻的边缘分布的状态-动作对这两个政策一致。本文证明了当相应的马尔可夫策略定义了一个非爆炸跳马尔可夫过程时,CTJMDP的等式成立。如果这个马尔可夫过程是爆炸性的,则在每个时刻,对于所描述的马尔可夫策略,状态-动作对属于状态-动作对的可测集的边际概率不大于原始策略的相同概率。这些结果在本文中被用来证明,对于期望的折扣总成本和单位时间的平均成本,对于给定的初态分布,对于CTJMDP的每一个策略,所描述的马尔可夫策略具有相同或更好的性能。
2020-05-14 math.OC
Bounding the Difference between the Values of Robust and Non-Robust Markov Decision Problems
本文推导出分布鲁棒与非鲁棒马尔可夫决策问题值函数差异的上界,证明该上界与维度无关且线性依赖于Wasserstein球半径。
2024-05-05 math.OC math.PR
Closed-loop solvability of infinite-horizon stochastic linear-quadratic problem for Markov regime-switching jump-diffusion system
Southern University of Science and Technology(南方科技大学);Anhui University(安徽大学)
研究马尔可夫状态切换跳跃扩散系统无限时域随机线性二次控制问题,通过耦合代数黎卡提方程系统的稳定解给出最优控制反馈表示,并应用于终身财富跟踪问题得出最优投资策略。
2026-07-28 math.OC
Finite Horizon Robust Impulse Control in a Non-Markovian Framework and Related Systems of Reflected BSDEs
考虑有限时间内的鲁棒脉冲控制问题,其中潜在的不确定性来源于由布朗运动驱动的脉冲和连续控制的泛函随机微分方程.我们假设控制器通过脉冲作用于系统,而对手玩家(自然)通过连续控制作用。我们寻找一个弱解,使我们考虑一个系统的顺序互连,斜反射向后随机微分方程(RBSDES)随机Lipschitz系数。我们的RBSDES系统的解决方案的存在性,通过应用皮卡德迭代方法。然后,uniform将极限与辅助脉冲控制问题联系起来。
2021-03-30 math.OC
Computational Hardness of Static Distributionally Robust Markov Decision Processes
Texas A&M University(德州农工大学)
研究静态分布鲁棒马尔可夫决策过程最优策略的计算难度,证明在马尔可夫非随机策略下求解最优策略是NP难的,且在马尔可夫随机策略下最优策略也存在NP难问题。
2026-05-07 math.OC
Continuous-time Markov Decision Processes with Finite-horizon Expected Total Cost Criteria
本文讨论了有限时间期望总费用准则下连续时间马氏决策过程的无约束和有约束情形。状态空间是可数的,并且允许转换率和成本率从上到下是无界的。我们给出了在所有随机化的历史相关的政策类中的最优政策的存在条件。对于无约束情形,利用条件期望形式的前向Kolmogorov方程的类比,证明了有限时域最优值函数是最优性方程的唯一解,并得到了最优确定性马尔可夫策略的存在性.对于有约束的情形,利用占用测度的技巧,首先给出了占用测度的一个等价刻画,并导出了对于每个由随机历史依赖策略生成的占用测度,都存在一个与之相等的由随机马尔可夫策略生成的占用测度,然后利用所有占用测度集合的紧性和凸性,我们得到了约束最优随机马尔可夫策略的存在性。并且将约束最优化问题转化为线性规划,建立了线性规划与其对偶规划之间的强对偶性。最后,一个有控制的生灭系统被用来说明我们的主要结果。
2014-08-23 math.OC
Markov Decision Processes with Incomplete Information and Semi-Uniform Feller Transition Probabilities
研究部分可观测离散随机系统的控制问题。介绍并研究了具有半一致Feller转移概率的不完全信息马氏决策过程。这些模型的重要特征是,他们的经典约简为完全可观察马尔可夫决策过程的信念状态保持半一致的Feller连续的转移概率。在对费用函数的温和假设下,最优策略存在,最优性方程成立,并且值迭代收敛到这些模型的最优值。特别地,对于部分可观测的马尔可夫决策过程,本文的结果包含了新的和推广了几个已知的关于具有信念状态的马尔可夫决策过程的转移概率弱连续性的转移概率和观测概率的充分条件,最优策略的存在性,定义最优策略的最优性方程的有效性,以及值迭代收敛到最优值的充分条件.
2022-08-26 math.OC
Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中,我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程,折扣奖励和期望平均奖励。我们制定的零和对策的问题,其中一个球员(代理)解决马尔可夫判定问题,其对手解决了一个强盗最优化问题,我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈,并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解,从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子,我们计算出的最优策略,并通过模拟表明,该算法收敛到计算出的最优策略。据我们所知,这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报,分别。
2021-03-04 math.OC
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术,我们的值函数,并规定最优控制。
2021-01-12 math.OC
Large Markov Decision Processes and Combinatorial Optimization
本文综述大型 Markov 决策过程的求解文献,关注其规模导致的数值不可处理性,并讨论如何借助这些过程解决重要组合优化问题。
2023-12-06 math.OC
Distributionally robust chance constrained Markov decision process with Kullback-Leibler divergence
本文研究具有随机回报和模糊分布的分布鲁棒机会约束马尔可夫决策过程,基于Kullback-Leibler散度模糊集推导了个体约束的易处理重构,并为联合约束设计了序列凸逼近与线搜索的混合算法,通过机器更换问题验证了有效性。
2023-07-29 math.OC
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性,最优策略的存在性,以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下,我们建立了Hamilton-Jacobi-Bellman(HJB)方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
Markov decision processes: on the convergence of the Monte-Carlo first visit algorithm
Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学)
本文研究有限状态与有限动作马尔可夫决策过程中的蒙特卡洛首次访问算法,证明了当折扣因子小于1/2时该算法收敛。
2025-09-22 math.OC math.PR
Two-person zero-sum stochastic linear quadratic control problems with Markov chains and fractional Brownian motion in infinite horizon
本文研究无限时间区间上包含马尔可夫链和分数布朗运动的双人零和随机线性二次控制问题,扩展Itô公式并利用Banach不动点定理保证FBSDEs解的存在唯一性,首次推导出博弈双方的最优控制策略,并揭示了成本函数中交叉项的关键作用。
2024-12-21 math.OC
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程,其中总(非负)费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的,并且转移率和成本率沿着漂移是局部可积的。在自然条件下,我们建立了最优性方程,证明了值迭代算法,并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下,所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电,本文提出了一种基于状态的决策模型,目标是减轻负荷损失,以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态,例如,由展开事件驱动的馈线开/关状态被建模为马尔可夫状态,并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程(MDP)的递归最优化模型,在每个决策时间,系统重新配置。为了克服由于大量状态和动作而导致的维数灾难,采用基于后决策状态和迭代的近似动态规划(ADP)方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
Rectangularity and duality of distributionally robust Markov Decision Processes
本文探讨了分布鲁棒马尔可夫决策过程的多种建模方法,重点阐明博弈形式与静态形式之间的联系,并揭示模糊集矩形性在其中的关键作用。
2024-05-05 math.OC
The existence of optimal control for continuous-time Markov decision processes in random environments
在这项工作中,我们研究的最优控制问题的连续时间马尔可夫决策过程的随机环境的影响。在有限时域准则下,我们给出了最优控制存在的条件。在适当的条件下,该值函数是连续的,并满足动态规划原理。这些结果是通过对最优控制的正则性引入一些限制和发展一种新的连续时间Markov决策过程的紧化方法而建立的,这种紧化方法最初用于求解跳扩散过程的最优控制问题.
2020-06-21 math.OC math.PR
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Multiply Accelerated Value Iteration for Non-Symmetric Affine Fixed Point Problems and application to Markov Decision Processes
我们分析了Nesterov加速梯度算法的一个修改版本,它适用于仿射不动点问题与非自伴随矩阵,如出现在马尔可夫决策过程理论与折扣或平均支付标准。我们刻画了该算法确实以加速的渐近速度收敛的矩阵的谱。我们还介绍了一个$d$第阶算法,并表明,它会产生一个乘法加速率在更苛刻的条件下的频谱。随后,我们应用这些方法来开发非线性不动点问题所产生的马尔可夫决策过程的加速计划。数值实验说明了这一点。
2021-07-02 math.OC
Constrained total undiscounted continuous-time Markov decision processes
本文研究了连续时间马尔可夫决策过程在Borel状态空间和动作空间中具有完全无折扣准则的约束最优控制问题。在标准紧性和连续性条件下,我们证明了一般非平稳策略类中最优平稳策略的存在性。在此过程中,我们证明了减少CTMDP模型的离散时间马尔可夫决策过程(DTMDP)模型的基础上的研究的非折扣占用和占用措施。我们允许受控过程不一定是吸收的,并且过渡率不一定与零分离,并且可以是任意无界的;这些特征是研究未贴现CTMDP模型的主要技术难点。
2014-10-30 math.OC
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集,行动空间是一个Borel空间,成本和转移率是有界的,风险敏感系数可以取任意正实数。在较弱的条件下,我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
An axiomatic approach to Markov decision processes
本文给出了贴现率为零的有限马尔可夫决策过程的一个公理化方法。在无折扣情况下的主要困难之一是,即使注意力仅限于平稳策略,也不需要存在强的超越最优策略。我们提供了两个标准,承认最优政策的偏好基础:$0$ -折扣最优性和平均超车最优性。作为我们的结果的推论,我们得到的条件,决策者的偏好,确保最优的政策存在。这些结果对随机动态规划问题出现的学科,包括自动控制,动态博弈和经济发展有影响。
2022-11-22 math.OC
Partially Observed Markov Decision Processes. Problem Sets and Internet Supplement
本文是我的书《部分观测马尔可夫决策过程-从过滤到受控传感》的互联网补充,由剑桥大学出版社于2016年出版。这个互联网补充包含练习,例子和案例研究。材料出现在这个互联网补充(而不是书),以便它可以更新。本文档将随着时间的推移而不断发展,并将添加进一步的讨论和示例。这份互联网补充文件正在进行中,将定期更新。我欢迎本书和本网络增刊的读者提出建设性的意见。
2016-04-27 math.OC
Continuous-time Markov decision processes with exponential utility
本文考虑Borel空间中的连续时间马尔可夫决策过程(CTMDP),其中确定性等价于总未折现费用的指数效用最小.成本率是非负的。建立了最优性方程。在紧连续条件下,我们证明了一个确定的平稳最优策略的存在性。我们将风险敏感的CTMDP问题转化为一个等价的风险敏感的离散时间马尔可夫决策过程,该过程具有与原CTMDP相同的状态空间和动作空间。特别是,CTMDP问题的值迭代算法遵循这种减少。我们不需要对状态中的过渡和成本率的增长施加任何条件,并且受控过程可以是爆炸性的。
2016-11-25 math.OC
Linear Quadratic Optimal Control and Stabilization for Discrete-time Markov Jump Linear Systems
本文主要研究线性离散Markov跳变系统的最优控制与镇定问题。一般情况下的有限时域最优控制器被认为是,在性能指标的输入加权矩阵只需要是半正定的。从一组耦合差分Riccati方程(CDRE)出发,给出了有限时间内最优控制器存在的充要条件。其关键技术之一是求解由最大值原理得到的正、倒向随机差分方程。对于无限时域情形,我们建立了马尔可夫跳变线性系均方镇定的充要条件。证明了马尔可夫跳变线性系在最优控制器作用下可镇定的充要条件是相应的耦合代数Riccati方程(CARE)存在唯一正解.同时,给出了无限时域情形下的最优控制器和最优费用函数的显式表达式。
2018-03-14 math.OC
Average optimality for continuous-time Markov decision processes under weak continuity conditions
本文研究了具有Borel状态空间和行动空间的连续时间马尔可夫决策过程的平均最优性问题。与以前的文献相比,在一组不同的和一般的条件下证明了确定性平稳最优策略的存在性;受控过程可以是爆炸性的,转移率可以是任意无界的,并且是弱连续的,定义容许行动空间的多功能既不是紧值的,也不是上半连续的,并且成本率不一定是非紧的。
2014-03-04 math.OC
Least Inferable Policies for Markov Decision Processes
在各种应用中,代理的成功取决于对抗性观察者所拥有或可以收集的关于代理决策的知识。因此,期望代理在实现任务的同时降低观察者推断代理的策略的能力。我们认为,在马尔可夫决策过程中的可达性问题的代理的任务和研究的政策,最大限度地减少观察员的能力,推断代理之间的马尔可夫决策过程的状态的转移概率的合成。我们引入了一个度量,这是基于Fisher信息作为代理的信息泄露给观察员,并使用此度量制定一个问题,最大限度地减少预期的总信息的可达性约束。我们使用凸优化方法来解决这个问题。为了验证所提出的方法,我们分析了期望的总信息和观测器的估计误差之间的关系,并表明,对于一类特定的马尔可夫决策过程,这两个值成反比。
2018-09-18 math.OC
Reachability and safety objectives in Markov decision processes on long but finite horizons
我们考虑离散时间马尔可夫决策过程中,决策者感兴趣的是长期的,但有限的视野。首先,我们考虑可达性目标:决策者的目标是以最高可能的概率达到特定的目标状态。形式上,对于所有足够大的$t\in\NN$,如果在水平$t$内到达目标状态的概率在$σ$下大于在$σ'$下,则策略$σ$超过另一个策略$σ'$。证明了在转移结构满足一定条件和一般性条件下,存在一个既不被任何纯策略超越也不被任何平稳策略超越的纯平稳策略.没有被任何其他策略超越的策略,称为超越最优策略,并不总是存在。我们提供了它存在的充分条件。接下来我们考虑安全目标:决策者的目标是以最高可能性避免特定状态。我们认为,可达性目标证明的结果扩展到这个模型。最后,我们讨论我们的结果的扩展到两个玩家零和完美信息游戏。
2019-11-13 math.OC
Convex function approximations for Markov decision processes
研究了有限时域离散时间马氏决策过程在一定凸性假设下的函数逼近问题。在驱动随机变量的几种抽样方案下,证明了这些近似在紧集上的一致收敛性。在某些条件下,这些近似形成一个单调序列的下界或上界函数。涉及分段线性函数的数值实验表明,非常紧的边界功能的公平价格的一个Rupdan看跌期权可以获得极好的速度(分数的CPU秒)。本文的结果可以很容易地适用于涉及凹Bellman函数的极小化问题。
2018-02-20 math.OC
Optimal Control of Markov Processes with Age-Dependent Transition Rates
研究了转移率与年龄相关的马氏过程的最优控制。控制策略是基于过程的状态及其年龄随时间连续选择的。研究了无限期折现费用和无限期平均费用问题。我们的方法是通过一个等价的半马尔可夫决策过程的建设。我们的特点的价值函数和最优控制的折扣和平均成本的情况下。
2014-09-14 math.OC
An Overview for Markov Decision Processes in Queues and Networks
自20世纪60年代以来,队列和网络中的马尔可夫决策过程(MDP)一直是许多实际领域的一个有趣的话题。本文提供了一个详细的概述这一主题,并跟踪许多基本结果的演变。最后,总结了未来研究的几个方向。我们希望这一综述能对队列和网络中的MDP及其在各个实际领域的广泛应用有所启发。
2019-08-23 cs.NI math.OC
A useful technique for piecewise deterministic Markov decision processes
本文提出了一种技术,是有用的研究分段确定性马尔可夫决策过程(PDMDPs)的一般政策和无界的过渡强度的理由。该技术从原始PDDDP产生辅助PDDDP。如将要讨论和声明的,辅助PDDDP具有某些原始PDDDP可能不具有的所需性质。此外,在原始PDDDP中的任何策略的性能测量可以由辅助PDDDP针对大类性能标准复制。作为一个应用程序,我们将此技术应用于风险敏感的PDMDPs与总成本的标准。
2020-06-11 math.OC
Sleeping Experts and Bandits Approach to Constrained Markov Decision Processes
这篇简短的论文提出了简单的模拟为基础的算法,在一个给定的有限集在大型有限约束马尔可夫决策过程中获得近似最优的政策。该算法是从“睡专家与强盗”问题的博弈策略中改编而来的,当给定的策略集相对较小时,其计算复杂性与状态空间和动作空间的大小无关.我们建立收敛的预期性能的最优策略和收敛速度的值,也几乎必然收敛的最优策略与指数速度的算法适应的背景下,睡觉的专家。
2014-12-16 math.OC
Markov Decision Processes under Ambiguity
我们考虑统计马尔可夫决策过程中的决策者是风险厌恶对模型的模糊性。后者由影响过渡律和费用函数的未知参数给出。风险厌恶可以通过熵风险度量或平均风险值来衡量。我们展示了如何使用一般的极小极大定理来解决这类问题。在一些连续性和紧凑性的假设下,我们证明了最优(确定性)政策的存在性,并讨论其计算。我们用一个统计决策论的例子来说明我们的结果。
2019-07-04 math.OC math.ST stat.TH