On Pioneering Works of Albert Shiryaev on Markov Decision Processes and Some Later Developments
本文回顾 Albert Shiryaev 六十年前在马尔可夫决策过程与不完全观测控制方面的三篇开创性论文,讨论其核心思想与后续发展,并介绍其近期在跳跃马尔可夫过程方程与控制上的研究。
2025-06-05 math.OC math.PR
Time-inconsistent Risk-sensitive Equilibrium for Countable-stated Markov Decision Processes
研究了可数状态马尔可夫决策过程(MDP)的含参数$\e$及其极限情形($\e\rightarrow0^+$)的时间不一致风险敏感控制问题.由于成本泛函是时间不一致的,因此不可能为这两种情况找到全局最优策略。相反,对于每一种情况,我们将证明存在的时间不恒定的平衡策略,验证所谓的步骤最优。证明了$\e$ -平衡点及相应的值函数$\e\rightarrow0^+$的收敛性.
2020-10-21 math.OC math.PR
Killed Markov Decision Processes on Finite Time Interval for Countable Models
我们考虑有限时间区间上可数模型的Killed Markov决策过程。证明了一致$\varepsilon$ -最优策略的存在性。我们证明了基本方程的正确性。最优控制问题是减少到一个类似的问题,推导出的模型。我们得到了一个最优性方程和一个简单的最优策略的构造方法。证明了可数模型的简单策略的充分性。我们证明了马尔可夫性质的正确性。此外,考虑了动态规划原则。
2013-04-09 math.OC math.PR
A note on weak compactness of occupation measures for an absorbing Markov decision process
本文研究了具有Borel状态和动作空间的吸收马尔可夫决策过程,给出了使其一致吸收且占用测度集在弱拓扑下紧致的条件,推广了已有结果并回答了相关文献中的猜想。
2024-04-29 math.OC math.PR
Reinforcement Learning: Stochastic Approximation Algorithms for Markov Decision Processes
本文简要介绍了马尔可夫决策过程强化学习中的随机逼近算法。该算法也可以用作部分观测马尔可夫决策过程的次优方法。
2015-12-23 math.OC
Percolation Markov Decision Processes
本文研究渗流马尔可夫决策过程,证明一致值与0-最优策略存在性,并引入维度提升性质以近似渗流临界阈值。
2026-11-17 math.OC math.PR
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程,研究两人零和随机博弈,在转移率与费用/报酬率上下无界的温和条件下,证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Reversible Markov decision processes and the Gaussian free field
如果平稳受控马尔可夫链在每个平稳马尔可夫策略下都是可逆的,则称马尔可夫判定问题是可逆的。一个自然的应用,其中出现这样的问题是在大都会黑斯廷斯型动力学的控制。我们刻画了所有具有有限状态空间和有限动作空间的离散时间可逆马尔可夫决策过程。我们表明,政策迭代算法找到一个最佳的政策,可以显着简化马尔可夫判定问题这种类型。我们还强调了有限时间演化之间的关系的应计报酬和高斯自由场相关联的受控马尔可夫链。
2022-07-11 cs.SY eess.SY math.OC
Structural Results for Partially Observed Markov Decision Processes
这篇文章提供了一个介绍性的教程,在部分观测马尔可夫决策过程(POMDPs)的结构结果。通常,计算POMDP的最优策略在计算上是难以处理的。我们使用格规划的方法来刻画POMDP的最优策略的结构,而无需暴力计算。
2015-12-12 math.OC
A Note on Optimization Formulations of Markov Decision Processes
本文总结了马尔可夫决策过程研究中使用的优化公式。我们考虑标准和熵正则化设置下的贴现和未贴现过程。对于每一个设置,我们首先总结了原始,对偶,和原始对偶问题的线性规划制定。然后,我们详细介绍了这些问题和其他配方的马尔可夫决策过程,如贝尔曼方程和政策梯度法之间的联系。
2020-12-17 math.OC
Sufficiency of Markov Policies for Continuous-Time Jump Markov Decision Processes
本文扩展到连续时间跳马尔可夫决策过程(CTJMDP)的马尔可夫决策过程的经典结果指出,对于一个给定的初态分布,对于每一个政策有一个(随机)马尔可夫策略,它可以被定义在一个自然的方式,这样,在每个时刻的边缘分布的状态-动作对这两个政策一致。本文证明了当相应的马尔可夫策略定义了一个非爆炸跳马尔可夫过程时,CTJMDP的等式成立。如果这个马尔可夫过程是爆炸性的,则在每个时刻,对于所描述的马尔可夫策略,状态-动作对属于状态-动作对的可测集的边际概率不大于原始策略的相同概率。这些结果在本文中被用来证明,对于期望的折扣总成本和单位时间的平均成本,对于给定的初态分布,对于CTJMDP的每一个策略,所描述的马尔可夫策略具有相同或更好的性能。
2020-05-14 math.OC
Computational Hardness of Static Distributionally Robust Markov Decision Processes
Texas A&M University(德州农工大学)
研究静态分布鲁棒马尔可夫决策过程最优策略的计算难度,证明在马尔可夫非随机策略下求解最优策略是NP难的,且在马尔可夫随机策略下最优策略也存在NP难问题。
2026-05-07 math.OC
Markov Decision Processes with Incomplete Information and Semi-Uniform Feller Transition Probabilities
研究部分可观测离散随机系统的控制问题。介绍并研究了具有半一致Feller转移概率的不完全信息马氏决策过程。这些模型的重要特征是,他们的经典约简为完全可观察马尔可夫决策过程的信念状态保持半一致的Feller连续的转移概率。在对费用函数的温和假设下,最优策略存在,最优性方程成立,并且值迭代收敛到这些模型的最优值。特别地,对于部分可观测的马尔可夫决策过程,本文的结果包含了新的和推广了几个已知的关于具有信念状态的马尔可夫决策过程的转移概率弱连续性的转移概率和观测概率的充分条件,最优策略的存在性,定义最优策略的最优性方程的有效性,以及值迭代收敛到最优值的充分条件.
2022-08-26 math.OC
Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中,我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程,折扣奖励和期望平均奖励。我们制定的零和对策的问题,其中一个球员(代理)解决马尔可夫判定问题,其对手解决了一个强盗最优化问题,我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈,并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解,从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子,我们计算出的最优策略,并通过模拟表明,该算法收敛到计算出的最优策略。据我们所知,这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报,分别。
2021-03-04 math.OC
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术,我们的值函数,并规定最优控制。
2021-01-12 math.OC
Large Markov Decision Processes and Combinatorial Optimization
本文综述大型 Markov 决策过程的求解文献,关注其规模导致的数值不可处理性,并讨论如何借助这些过程解决重要组合优化问题。
2023-12-06 math.OC
Distributionally robust chance constrained Markov decision process with Kullback-Leibler divergence
本文研究具有随机回报和模糊分布的分布鲁棒机会约束马尔可夫决策过程,基于Kullback-Leibler散度模糊集推导了个体约束的易处理重构,并为联合约束设计了序列凸逼近与线搜索的混合算法,通过机器更换问题验证了有效性。
2023-07-29 math.OC
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性,最优策略的存在性,以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Finite horizon risk-sensitive continuous-time Markov decision processes with unbounded transition and cost rates
考虑有限时间内风险敏感的连续时间马尔可夫决策过程。在无界转移和费用率所能满足的条件下,证明了最优策略的存在性,以及一类可能无界函数的最优性方程解的存在唯一性,并证明了Feynman-Kac公式的成立性.
2018-11-28 math.OC
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下,我们建立了Hamilton-Jacobi-Bellman(HJB)方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程,其中总(非负)费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的,并且转移率和成本率沿着漂移是局部可积的。在自然条件下,我们建立了最优性方程,证明了值迭代算法,并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下,所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电,本文提出了一种基于状态的决策模型,目标是减轻负荷损失,以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态,例如,由展开事件驱动的馈线开/关状态被建模为马尔可夫状态,并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程(MDP)的递归最优化模型,在每个决策时间,系统重新配置。为了克服由于大量状态和动作而导致的维数灾难,采用基于后决策状态和迭代的近似动态规划(ADP)方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
Robustness to Modeling Errors in Risk-Sensitive Markov Decision Problems with Markov Risk Measures
我们考虑风险敏感的马尔可夫决策过程(MDP),其中MDP模型的影响,在一个紧凑的度量空间的值的参数。我们确定了充分条件下,模型参数的小扰动导致小的变化,在最优值函数和最优策略。我们进一步建立的鲁棒性的风险敏感的最优策略建模误差。数据驱动的决策,决策偏好的不确定性,和系统的噪声分布变化的结果的影响进行了讨论。
2022-09-26 cs.SY eess.SY math.OC
Rectangularity and duality of distributionally robust Markov Decision Processes
本文探讨了分布鲁棒马尔可夫决策过程的多种建模方法,重点阐明博弈形式与静态形式之间的联系,并揭示模糊集矩形性在其中的关键作用。
2024-05-05 math.OC
Multiply Accelerated Value Iteration for Non-Symmetric Affine Fixed Point Problems and application to Markov Decision Processes
我们分析了Nesterov加速梯度算法的一个修改版本,它适用于仿射不动点问题与非自伴随矩阵,如出现在马尔可夫决策过程理论与折扣或平均支付标准。我们刻画了该算法确实以加速的渐近速度收敛的矩阵的谱。我们还介绍了一个$d$第阶算法,并表明,它会产生一个乘法加速率在更苛刻的条件下的频谱。随后,我们应用这些方法来开发非线性不动点问题所产生的马尔可夫决策过程的加速计划。数值实验说明了这一点。
2021-07-02 math.OC
Constrained total undiscounted continuous-time Markov decision processes
本文研究了连续时间马尔可夫决策过程在Borel状态空间和动作空间中具有完全无折扣准则的约束最优控制问题。在标准紧性和连续性条件下,我们证明了一般非平稳策略类中最优平稳策略的存在性。在此过程中,我们证明了减少CTMDP模型的离散时间马尔可夫决策过程(DTMDP)模型的基础上的研究的非折扣占用和占用措施。我们允许受控过程不一定是吸收的,并且过渡率不一定与零分离,并且可以是任意无界的;这些特征是研究未贴现CTMDP模型的主要技术难点。
2014-10-30 math.OC
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集,行动空间是一个Borel空间,成本和转移率是有界的,风险敏感系数可以取任意正实数。在较弱的条件下,我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process,提出向量线性规划公式以刻画 Pareto 高效策略,并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
An axiomatic approach to Markov decision processes
本文给出了贴现率为零的有限马尔可夫决策过程的一个公理化方法。在无折扣情况下的主要困难之一是,即使注意力仅限于平稳策略,也不需要存在强的超越最优策略。我们提供了两个标准,承认最优政策的偏好基础:$0$ -折扣最优性和平均超车最优性。作为我们的结果的推论,我们得到的条件,决策者的偏好,确保最优的政策存在。这些结果对随机动态规划问题出现的学科,包括自动控制,动态博弈和经济发展有影响。
2022-11-22 math.OC
Partially Observed Markov Decision Processes. Problem Sets and Internet Supplement
本文是我的书《部分观测马尔可夫决策过程-从过滤到受控传感》的互联网补充,由剑桥大学出版社于2016年出版。这个互联网补充包含练习,例子和案例研究。材料出现在这个互联网补充(而不是书),以便它可以更新。本文档将随着时间的推移而不断发展,并将添加进一步的讨论和示例。这份互联网补充文件正在进行中,将定期更新。我欢迎本书和本网络增刊的读者提出建设性的意见。
2016-04-27 math.OC
Continuous-time Markov decision processes with exponential utility
本文考虑Borel空间中的连续时间马尔可夫决策过程(CTMDP),其中确定性等价于总未折现费用的指数效用最小.成本率是非负的。建立了最优性方程。在紧连续条件下,我们证明了一个确定的平稳最优策略的存在性。我们将风险敏感的CTMDP问题转化为一个等价的风险敏感的离散时间马尔可夫决策过程,该过程具有与原CTMDP相同的状态空间和动作空间。特别是,CTMDP问题的值迭代算法遵循这种减少。我们不需要对状态中的过渡和成本率的增长施加任何条件,并且受控过程可以是爆炸性的。
2016-11-25 math.OC
Average optimality for continuous-time Markov decision processes under weak continuity conditions
本文研究了具有Borel状态空间和行动空间的连续时间马尔可夫决策过程的平均最优性问题。与以前的文献相比,在一组不同的和一般的条件下证明了确定性平稳最优策略的存在性;受控过程可以是爆炸性的,转移率可以是任意无界的,并且是弱连续的,定义容许行动空间的多功能既不是紧值的,也不是上半连续的,并且成本率不一定是非紧的。
2014-03-04 math.OC
Least Inferable Policies for Markov Decision Processes
在各种应用中,代理的成功取决于对抗性观察者所拥有或可以收集的关于代理决策的知识。因此,期望代理在实现任务的同时降低观察者推断代理的策略的能力。我们认为,在马尔可夫决策过程中的可达性问题的代理的任务和研究的政策,最大限度地减少观察员的能力,推断代理之间的马尔可夫决策过程的状态的转移概率的合成。我们引入了一个度量,这是基于Fisher信息作为代理的信息泄露给观察员,并使用此度量制定一个问题,最大限度地减少预期的总信息的可达性约束。我们使用凸优化方法来解决这个问题。为了验证所提出的方法,我们分析了期望的总信息和观测器的估计误差之间的关系,并表明,对于一类特定的马尔可夫决策过程,这两个值成反比。
2018-09-18 math.OC
Convex function approximations for Markov decision processes
研究了有限时域离散时间马氏决策过程在一定凸性假设下的函数逼近问题。在驱动随机变量的几种抽样方案下,证明了这些近似在紧集上的一致收敛性。在某些条件下,这些近似形成一个单调序列的下界或上界函数。涉及分段线性函数的数值实验表明,非常紧的边界功能的公平价格的一个Rupdan看跌期权可以获得极好的速度(分数的CPU秒)。本文的结果可以很容易地适用于涉及凹Bellman函数的极小化问题。
2018-02-20 math.OC
A useful technique for piecewise deterministic Markov decision processes
本文提出了一种技术,是有用的研究分段确定性马尔可夫决策过程(PDMDPs)的一般政策和无界的过渡强度的理由。该技术从原始PDDDP产生辅助PDDDP。如将要讨论和声明的,辅助PDDDP具有某些原始PDDDP可能不具有的所需性质。此外,在原始PDDDP中的任何策略的性能测量可以由辅助PDDDP针对大类性能标准复制。作为一个应用程序,我们将此技术应用于风险敏感的PDMDPs与总成本的标准。
2020-06-11 math.OC
Sleeping Experts and Bandits Approach to Constrained Markov Decision Processes
这篇简短的论文提出了简单的模拟为基础的算法,在一个给定的有限集在大型有限约束马尔可夫决策过程中获得近似最优的政策。该算法是从“睡专家与强盗”问题的博弈策略中改编而来的,当给定的策略集相对较小时,其计算复杂性与状态空间和动作空间的大小无关.我们建立收敛的预期性能的最优策略和收敛速度的值,也几乎必然收敛的最优策略与指数速度的算法适应的背景下,睡觉的专家。
2014-12-16 math.OC
Optimization of a launcher integration process: a Markov decision process approach
本文致力于工业发射装置集成过程优化的数值研究。这是一个原始的库存生产系统,其中日历起着至关重要的作用。该过程使用马尔可夫决策过程(MDP)框架建模。由于过渡律和费用函数的特殊性,不能使用经典的MDP优化程序。两个基于仿真的算法进行调整,以适应这种特殊情况。我们得到了一个非平凡的最优策略,可以应用于实践中,并显着优于参考政策。
2016-02-04 math.OC
A Class of Solvable Markov Decision Models with Incomplete Information
本文研究了具有期望总费用的不完全信息马尔可夫决策过程最优策略存在的自然条件。MDPII模型是一类具有不完全状态观测的受控随机过程的经典模型,它比部分可观测马尔可夫决策过程(POMDP)模型更具有一般性。对于MDPII,我们引入了半均匀Feller转移概率的概念,它比弱连续转移概率的概念更强。我们证明了MDPII具有半均匀Feller转移概率当且仅当相应的信念MDP也具有半均匀Feller转移概率。这一事实有几个推论。特别地,它提供了新的并包含了所有已知的关于期望总费用的POMDPs的最优策略存在的充分条件
2021-09-29 math.OC
Discounted Continuous-time Markov Decision Processes with Unbounded Rates: the Dynamic Programming Approach
本文研究Borel状态空间和行动空间中的无约束折扣连续时间马氏决策过程。在某些条件下施加的原语,允许无界的过渡率和无界(从上面和下面)的成本率,我们显示的规律性的控制过程,这确保了底层模型被很好地定义。然后,我们开发的动态规划的方法,显示贝尔曼方程满足(由最优值)。最后,在一定的紧连续性条件下,我们得到了一类随机历史依赖策略中确定性平稳最优策略的存在性。
2011-03-01 math.OC
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明,在单链马尔可夫决策过程中的最优(平稳)政策的组合是最优的。也就是说,设M是一个具有状态空间S,动作空间A和策略π_j^* 的单链马尔可夫决策过程:S -> A(1 \leq j \leq n),具有最优的平均无限时域报酬。然后这些策略的任何组合π,其中对于S中的每个状态i,存在j使得π(i)=π_j^*(i),也是最优的。此外,我们证明了任何最优策略的混合,其中在状态i的每次访问中,选择最优策略的任意动作π_j^*(i),也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore(新加坡国立大学)
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法,证明了其收敛性,通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
A dynamical neural network approach for distributionally robust chance constrained Markov decision process
针对分布鲁棒联合机会约束马尔可夫决策过程,本文利用对数变换推导确定性重构,并提出动态神经网络方法求解非凸优化问题,相比序列凸近似方法展现出更高效率。
2024-01-02 math.OC
Risk-Averse Markov Decision Processes: Applications to Electricity Grid and Reservoir Management
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Universidad Torcuato Di Tella(托尔夸托·迪泰拉大学);University of Auckland(奥克兰大学)
本文提出基于风险规避的马尔可夫决策过程模型,用于电力电网和水库管理,结合CVaR和可靠性导向的风险度量,提供高效求解方法。
2026-01-05 math.OC
Average-Cost Optimality Results for Borel-Space Markov Decision Processes with Universally Measurable Policies
我们考虑离散时间马尔可夫决策过程与博雷尔状态和行动空间和普遍可测的政策。对于几个长期平均费用准则,我们建立了以下最优性结果:最优平均费用函数是下半解析的,存在普遍可测的半马尔可夫或历史依赖的$ε$ -最优策略,并且类似的结果对于马尔可夫或平稳策略可达到的最小平均费用也成立.然后,我们分析了最优平均费用函数的结构,证明了充分条件,使他们几乎处处恒定的某些$σ$有限措施。这里最重要的条件是每个具有正测度的状态子集在某种策略下以概率1可达。我们通过利用最优平均费用函数的不等式及其与下鞅的联系获得了结果,并且在涉及平稳策略的特殊情况下,还使用了循环马尔可夫链的理论。
2021-04-01 math.OC
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Singularly perturbed linear programs and Markov decision processes
贴现和长期平均MDP的线性规划公式沿着不同的轨迹发展。2006年,E. Altman指出,贴现和长期平均MDP的两个线性规划公式很可能是奇摄动线性规划一般性质的表现。在本说明中,我们证明了这一点。
2016-11-21 math.OC
A New Condition for the Existence of Optimal Stationary Policies in Denumerable State Average Cost Continuous Time Markov Decision Processes with Unbounded Cost and Transition Rates
本文给出了转移率和费用均为无界的平均费用连续时间马氏决策过程存在最优平稳策略的一个新条件。这个条件与系统的稳定性密切相关。这表明稳定性的证明可以用来验证最优平稳策略的存在性。这种新的条件比现有条件更容易验证。此外,提供了几个条件,足以平均成本最优性等式举行。
2015-04-22 math.OC
Solving Ergodic Markov Decision Processes and Perfect Information Zero-sum Stochastic Games by Variance Reduced Deflated Value Iteration
最近,Sidford,Wang,Wu和Ye(2018)开发了一种将方差缩减技术与值迭代相结合的算法来求解折扣马尔可夫决策过程。当折扣因子固定时,该算法具有次线性复杂度。在这里,我们将这种方法推广到均值支付问题,包括马尔可夫决策过程和完美信息零和随机对策。我们得到次线性复杂性界,假设有一个区别的状态,这是从所有的初态和所有的政策。我们的方法是基于减少从平均支付问题的折扣问题的Doob h-变换,结合通货紧缩技术。该算法的复杂性分析同时使用Sidford等人开发的技术。在折扣情况下和非线性谱理论技术(Collatz-Wielandt特征值)。
2019-09-13 math.OC
Partially Observable Total-Cost Markov Decision Processes with Weakly Continuous Transition Probabilities
本文给出了具有Borel状态集、观测集和行动集的部分可观测马尔可夫决策过程(POMDP)在期望总费用下存在最优策略的充分条件.动作集可能不是紧凑的,并且单步费用函数可能是无界的。引入的条件也是充分的最优性方程的有效性,半连续的值函数,和收敛的值迭代到最优值。由于POMDPs可以归结为完全可观测的马尔可夫决策过程(COMDPs),其状态是后验状态分布,本文着重于上述最优性的有效性COMDPs。中心问题是COMDP的转移概率是否是弱连续的。我们为此引入了充分条件,并表明,转移概率的COMDP是弱连续的,如果转移概率的基本马尔可夫决策过程是弱连续的和观察概率的POMDP是连续的全变差。此外,观测概率的全变差的连续性不能弱化为集态连续性。最后用反例和实例说明了结果。
2014-07-01 math.OC
An Overview for Markov Decision Processes in Queues and Networks
自20世纪60年代以来,队列和网络中的马尔可夫决策过程(MDP)一直是许多实际领域的一个有趣的话题。本文提供了一个详细的概述这一主题,并跟踪许多基本结果的演变。最后,总结了未来研究的几个方向。我们希望这一综述能对队列和网络中的MDP及其在各个实际领域的广泛应用有所启发。
2019-08-23 cs.NI math.OC
Online Learning in Weakly Coupled Markov Decision Processes: A Convergence Time Study
我们考虑多个由全局约束耦合的并行马尔可夫决策过程(MDP),其中时变目标和约束函数只有在做出决策后才能观察到。特别注意的是如何以及决策者可以执行$T$插槽,从任何状态开始,相比最好的可行的随机平稳策略事后。我们开发了一种新的分布式在线算法,每个MDP在观察从过去的信息计算出的乘数后,每个时隙做出自己的决定。虽然该方案比经典的在线学习环境更具挑战性,但该算法同时具有严格的$O(\sqrt{T})$遗憾和约束违反。为了获得这样的界,我们结合了几个新的成分,包括遍历性和混合时间界弱耦合MDP,一个新的遗憾分析在线约束优化,漂移分析排队过程,和扰动分析的基础上Farkas引理。
2017-09-11 math.OC
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题,通过平均场近似得到连续HJB方程,并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Temporal Concatenation for Markov Decision Processes
我们提出并分析了一个时间级联启发式求解大规模有限时域马尔可夫决策过程(MDP),它将MDP划分为较小的子问题沿时域和生成一个整体的解决方案,通过简单地连接这些子问题的最优解。作为一个“黑盒”架构,时间级联与广泛的现有MDP算法。我们的主要结果表征遗憾的时间串联相比,最优解。我们提供一般MDP实例的上界,以及一个家庭的MDP实例中的上界被证明是紧的。总之,我们的研究结果表明,时间级联的潜力,大量的速度在一些性能下降的代价。
2022-06-18 math.OC