Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中，我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程，折扣奖励和期望平均奖励。我们制定的零和对策的问题，其中一个球员（代理）解决马尔可夫判定问题，其对手解决了一个强盗最优化问题，我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈，并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解，从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子，我们计算出的最优策略，并通过模拟表明，该算法收敛到计算出的最优策略。据我们所知，这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报，分别。
2021-03-04 math.OC
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术，我们的值函数，并规定最优控制。
2021-01-12 math.OC
Large Markov Decision Processes and Combinatorial Optimization
本文综述大型 Markov 决策过程的求解文献，关注其规模导致的数值不可处理性，并讨论如何借助这些过程解决重要组合优化问题。
2023-12-06 math.OC
Distributionally robust chance constrained Markov decision process with Kullback-Leibler divergence
本文研究具有随机回报和模糊分布的分布鲁棒机会约束马尔可夫决策过程，基于Kullback-Leibler散度模糊集推导了个体约束的易处理重构，并为联合约束设计了序列凸逼近与线搜索的混合算法，通过机器更换问题验证了有效性。
2023-07-29 math.OC
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性，最优策略的存在性，以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Finite horizon risk-sensitive continuous-time Markov decision processes with unbounded transition and cost rates
考虑有限时间内风险敏感的连续时间马尔可夫决策过程。在无界转移和费用率所能满足的条件下，证明了最优策略的存在性，以及一类可能无界函数的最优性方程解的存在唯一性，并证明了Feynman-Kac公式的成立性.
2018-11-28 math.OC
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下，我们建立了Hamilton-Jacobi-Bellman（HJB）方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程，其中总（非负）费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的，并且转移率和成本率沿着漂移是局部可积的。在自然条件下，我们建立了最优性方程，证明了值迭代算法，并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下，所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电，本文提出了一种基于状态的决策模型，目标是减轻负荷损失，以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态，例如，由展开事件驱动的馈线开/关状态被建模为马尔可夫状态，并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程（MDP）的递归最优化模型，在每个决策时间，系统重新配置。为了克服由于大量状态和动作而导致的维数灾难，采用基于后决策状态和迭代的近似动态规划（ADP）方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
A Non-asymptotic Analysis of Non-parametric Temporal-Difference Learning
时间差分学习是一种流行的策略评估算法。在本文中，我们研究了正则化非参数TD（0）算法的收敛性，在独立和马尔可夫观测设置。特别是，当TD是在一个通用的再生核希尔伯特空间（RKHS），我们证明了收敛的平均迭代的最优值函数，即使它不属于RKHS。我们提供了明确的收敛速度，依赖于一个源条件有关的规则性的最优值函数的RKHS。我们说明了这种收敛数值上一个简单的连续状态马尔可夫奖励过程。
2022-05-24 math.OC
Rectangularity and duality of distributionally robust Markov Decision Processes
本文探讨了分布鲁棒马尔可夫决策过程的多种建模方法，重点阐明博弈形式与静态形式之间的联系，并揭示模糊集矩形性在其中的关键作用。
2024-05-05 math.OC
Multiply Accelerated Value Iteration for Non-Symmetric Affine Fixed Point Problems and application to Markov Decision Processes
我们分析了Nesterov加速梯度算法的一个修改版本，它适用于仿射不动点问题与非自伴随矩阵，如出现在马尔可夫决策过程理论与折扣或平均支付标准。我们刻画了该算法确实以加速的渐近速度收敛的矩阵的谱。我们还介绍了一个$d$第阶算法，并表明，它会产生一个乘法加速率在更苛刻的条件下的频谱。随后，我们应用这些方法来开发非线性不动点问题所产生的马尔可夫决策过程的加速计划。数值实验说明了这一点。
2021-07-02 math.OC
Constrained total undiscounted continuous-time Markov decision processes
本文研究了连续时间马尔可夫决策过程在Borel状态空间和动作空间中具有完全无折扣准则的约束最优控制问题。在标准紧性和连续性条件下，我们证明了一般非平稳策略类中最优平稳策略的存在性。在此过程中，我们证明了减少CTMDP模型的离散时间马尔可夫决策过程（DTMDP）模型的基础上的研究的非折扣占用和占用措施。我们允许受控过程不一定是吸收的，并且过渡率不一定与零分离，并且可以是任意无界的;这些特征是研究未贴现CTMDP模型的主要技术难点。
2014-10-30 math.OC
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集，行动空间是一个Borel空间，成本和转移率是有界的，风险敏感系数可以取任意正实数。在较弱的条件下，我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process，提出向量线性规划公式以刻画 Pareto 高效策略，并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
An axiomatic approach to Markov decision processes
本文给出了贴现率为零的有限马尔可夫决策过程的一个公理化方法。在无折扣情况下的主要困难之一是，即使注意力仅限于平稳策略，也不需要存在强的超越最优策略。我们提供了两个标准，承认最优政策的偏好基础：$0$ -折扣最优性和平均超车最优性。作为我们的结果的推论，我们得到的条件，决策者的偏好，确保最优的政策存在。这些结果对随机动态规划问题出现的学科，包括自动控制，动态博弈和经济发展有影响。
2022-11-22 math.OC
Partially Observed Markov Decision Processes. Problem Sets and Internet Supplement
本文是我的书《部分观测马尔可夫决策过程-从过滤到受控传感》的互联网补充，由剑桥大学出版社于2016年出版。这个互联网补充包含练习，例子和案例研究。材料出现在这个互联网补充（而不是书），以便它可以更新。本文档将随着时间的推移而不断发展，并将添加进一步的讨论和示例。这份互联网补充文件正在进行中，将定期更新。我欢迎本书和本网络增刊的读者提出建设性的意见。
2016-04-27 math.OC
Continuous-time Markov decision processes with exponential utility
本文考虑Borel空间中的连续时间马尔可夫决策过程（CTMDP），其中确定性等价于总未折现费用的指数效用最小.成本率是非负的。建立了最优性方程。在紧连续条件下，我们证明了一个确定的平稳最优策略的存在性。我们将风险敏感的CTMDP问题转化为一个等价的风险敏感的离散时间马尔可夫决策过程，该过程具有与原CTMDP相同的状态空间和动作空间。特别是，CTMDP问题的值迭代算法遵循这种减少。我们不需要对状态中的过渡和成本率的增长施加任何条件，并且受控过程可以是爆炸性的。
2016-11-25 math.OC
Average optimality for continuous-time Markov decision processes under weak continuity conditions
本文研究了具有Borel状态空间和行动空间的连续时间马尔可夫决策过程的平均最优性问题。与以前的文献相比，在一组不同的和一般的条件下证明了确定性平稳最优策略的存在性;受控过程可以是爆炸性的，转移率可以是任意无界的，并且是弱连续的，定义容许行动空间的多功能既不是紧值的，也不是上半连续的，并且成本率不一定是非紧的。
2014-03-04 math.OC
Least Inferable Policies for Markov Decision Processes
在各种应用中，代理的成功取决于对抗性观察者所拥有或可以收集的关于代理决策的知识。因此，期望代理在实现任务的同时降低观察者推断代理的策略的能力。我们认为，在马尔可夫决策过程中的可达性问题的代理的任务和研究的政策，最大限度地减少观察员的能力，推断代理之间的马尔可夫决策过程的状态的转移概率的合成。我们引入了一个度量，这是基于Fisher信息作为代理的信息泄露给观察员，并使用此度量制定一个问题，最大限度地减少预期的总信息的可达性约束。我们使用凸优化方法来解决这个问题。为了验证所提出的方法，我们分析了期望的总信息和观测器的估计误差之间的关系，并表明，对于一类特定的马尔可夫决策过程，这两个值成反比。
2018-09-18 math.OC
Convex function approximations for Markov decision processes
研究了有限时域离散时间马氏决策过程在一定凸性假设下的函数逼近问题。在驱动随机变量的几种抽样方案下，证明了这些近似在紧集上的一致收敛性。在某些条件下，这些近似形成一个单调序列的下界或上界函数。涉及分段线性函数的数值实验表明，非常紧的边界功能的公平价格的一个Rupdan看跌期权可以获得极好的速度（分数的CPU秒）。本文的结果可以很容易地适用于涉及凹Bellman函数的极小化问题。
2018-02-20 math.OC
A useful technique for piecewise deterministic Markov decision processes
本文提出了一种技术，是有用的研究分段确定性马尔可夫决策过程（PDMDPs）的一般政策和无界的过渡强度的理由。该技术从原始PDDDP产生辅助PDDDP。如将要讨论和声明的，辅助PDDDP具有某些原始PDDDP可能不具有的所需性质。此外，在原始PDDDP中的任何策略的性能测量可以由辅助PDDDP针对大类性能标准复制。作为一个应用程序，我们将此技术应用于风险敏感的PDMDPs与总成本的标准。
2020-06-11 math.OC
Sleeping Experts and Bandits Approach to Constrained Markov Decision Processes
这篇简短的论文提出了简单的模拟为基础的算法，在一个给定的有限集在大型有限约束马尔可夫决策过程中获得近似最优的政策。该算法是从“睡专家与强盗”问题的博弈策略中改编而来的，当给定的策略集相对较小时，其计算复杂性与状态空间和动作空间的大小无关.我们建立收敛的预期性能的最优策略和收敛速度的值，也几乎必然收敛的最优策略与指数速度的算法适应的背景下，睡觉的专家。
2014-12-16 math.OC
Optimization of a launcher integration process: a Markov decision process approach
本文致力于工业发射装置集成过程优化的数值研究。这是一个原始的库存生产系统，其中日历起着至关重要的作用。该过程使用马尔可夫决策过程（MDP）框架建模。由于过渡律和费用函数的特殊性，不能使用经典的MDP优化程序。两个基于仿真的算法进行调整，以适应这种特殊情况。我们得到了一个非平凡的最优策略，可以应用于实践中，并显着优于参考政策。
2016-02-04 math.OC
A Class of Solvable Markov Decision Models with Incomplete Information
本文研究了具有期望总费用的不完全信息马尔可夫决策过程最优策略存在的自然条件。MDPII模型是一类具有不完全状态观测的受控随机过程的经典模型，它比部分可观测马尔可夫决策过程（POMDP）模型更具有一般性。对于MDPII，我们引入了半均匀Feller转移概率的概念，它比弱连续转移概率的概念更强。我们证明了MDPII具有半均匀Feller转移概率当且仅当相应的信念MDP也具有半均匀Feller转移概率。这一事实有几个推论。特别地，它提供了新的并包含了所有已知的关于期望总费用的POMDPs的最优策略存在的充分条件
2021-09-29 math.OC
Discounted Continuous-time Markov Decision Processes with Unbounded Rates: the Dynamic Programming Approach
本文研究Borel状态空间和行动空间中的无约束折扣连续时间马氏决策过程。在某些条件下施加的原语，允许无界的过渡率和无界（从上面和下面）的成本率，我们显示的规律性的控制过程，这确保了底层模型被很好地定义。然后，我们开发的动态规划的方法，显示贝尔曼方程满足（由最优值）。最后，在一定的紧连续性条件下，我们得到了一类随机历史依赖策略中确定性平稳最优策略的存在性。
2011-03-01 math.OC
A dynamical neural network approach for distributionally robust chance constrained Markov decision process
针对分布鲁棒联合机会约束马尔可夫决策过程，本文利用对数变换推导确定性重构，并提出动态神经网络方法求解非凸优化问题，相比序列凸近似方法展现出更高效率。
2024-01-02 math.OC
Risk-Averse Markov Decision Processes: Applications to Electricity Grid and Reservoir Management
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Universidad Torcuato Di Tella（托尔夸托·迪泰拉大学）；University of Auckland（奥克兰大学）
本文提出基于风险规避的马尔可夫决策过程模型，用于电力电网和水库管理，结合CVaR和可靠性导向的风险度量，提供高效求解方法。
2026-01-05 math.OC
Average-Cost Optimality Results for Borel-Space Markov Decision Processes with Universally Measurable Policies
我们考虑离散时间马尔可夫决策过程与博雷尔状态和行动空间和普遍可测的政策。对于几个长期平均费用准则，我们建立了以下最优性结果：最优平均费用函数是下半解析的，存在普遍可测的半马尔可夫或历史依赖的$ε$ -最优策略，并且类似的结果对于马尔可夫或平稳策略可达到的最小平均费用也成立.然后，我们分析了最优平均费用函数的结构，证明了充分条件，使他们几乎处处恒定的某些$σ$有限措施。这里最重要的条件是每个具有正测度的状态子集在某种策略下以概率1可达。我们通过利用最优平均费用函数的不等式及其与下鞅的联系获得了结果，并且在涉及平稳策略的特殊情况下，还使用了循环马尔可夫链的理论。
2021-04-01 math.OC
Exact finite approximations of average-cost countable Markov Decision Processes
对于可数状态马尔可夫决策过程，我们引入一个嵌入，它产生一个有限状态马尔可夫决策过程。有限状态嵌入过程具有相同的最优成本，而且，当约束到近似集时，它具有与原过程相同的动力学特性。嵌入过程可以作为一种近似，它是有限的，更便于计算和实现。
2007-11-14 math.OC math.PR
Bounding the Difference between the Values of Robust and Non-Robust Markov Decision Problems
本文推导出分布鲁棒与非鲁棒马尔可夫决策问题值函数差异的上界，证明该上界与维度无关且线性依赖于Wasserstein球半径。
2024-05-05 math.OC math.PR
Markov decision processes: on the convergence of the Monte-Carlo first visit algorithm
Sorbonne Université（索邦大学）；Université Paris Cité（巴黎西岱大学）
本文研究有限状态与有限动作马尔可夫决策过程中的蒙特卡洛首次访问算法，证明了当折扣因子小于1/2时该算法收敛。
2025-09-22 math.OC math.PR
Robustness to Modeling Errors in Risk-Sensitive Markov Decision Problems with Markov Risk Measures
我们考虑风险敏感的马尔可夫决策过程（MDP），其中MDP模型的影响，在一个紧凑的度量空间的值的参数。我们确定了充分条件下，模型参数的小扰动导致小的变化，在最优值函数和最优策略。我们进一步建立的鲁棒性的风险敏感的最优策略建模误差。数据驱动的决策，决策偏好的不确定性，和系统的噪声分布变化的结果的影响进行了讨论。
2022-09-26 cs.SY eess.SY math.OC
The existence of optimal control for continuous-time Markov decision processes in random environments
在这项工作中，我们研究的最优控制问题的连续时间马尔可夫决策过程的随机环境的影响。在有限时域准则下，我们给出了最优控制存在的条件。在适当的条件下，该值函数是连续的，并满足动态规划原理。这些结果是通过对最优控制的正则性引入一些限制和发展一种新的连续时间Markov决策过程的紧化方法而建立的，这种紧化方法最初用于求解跳扩散过程的最优控制问题.
2020-06-21 math.OC math.PR
Reversible Markov decision processes and the Gaussian free field
如果平稳受控马尔可夫链在每个平稳马尔可夫策略下都是可逆的，则称马尔可夫判定问题是可逆的。一个自然的应用，其中出现这样的问题是在大都会黑斯廷斯型动力学的控制。我们刻画了所有具有有限状态空间和有限动作空间的离散时间可逆马尔可夫决策过程。我们表明，政策迭代算法找到一个最佳的政策，可以显着简化马尔可夫判定问题这种类型。我们还强调了有限时间演化之间的关系的应计报酬和高斯自由场相关联的受控马尔可夫链。
2022-07-11 cs.SY eess.SY math.OC
A Parametric, Second-Order Cone Representable Model of Fairness for Decision-Making Problems
本文提出可由单个二阶锥约束表示的参数化ε-fairness模型，在不增加求解复杂度的前提下嵌入决策问题，并证明其与现有公平性度量的闭式联系。
2024-12-06 cs.CY math.OC
An Overview for Markov Decision Processes in Queues and Networks
自20世纪60年代以来，队列和网络中的马尔可夫决策过程（MDP）一直是许多实际领域的一个有趣的话题。本文提供了一个详细的概述这一主题，并跟踪许多基本结果的演变。最后，总结了未来研究的几个方向。我们希望这一综述能对队列和网络中的MDP及其在各个实际领域的广泛应用有所启发。
2019-08-23 cs.NI math.OC
On Pioneering Works of Albert Shiryaev on Markov Decision Processes and Some Later Developments
本文回顾 Albert Shiryaev 六十年前在马尔可夫决策过程与不完全观测控制方面的三篇开创性论文，讨论其核心思想与后续发展，并介绍其近期在跳跃马尔可夫过程方程与控制上的研究。
2025-06-05 math.OC math.PR
Time-inconsistent Risk-sensitive Equilibrium for Countable-stated Markov Decision Processes
研究了可数状态马尔可夫决策过程（MDP）的含参数$\e$及其极限情形（$\e\rightarrow0^+$）的时间不一致风险敏感控制问题.由于成本泛函是时间不一致的，因此不可能为这两种情况找到全局最优策略。相反，对于每一种情况，我们将证明存在的时间不恒定的平衡策略，验证所谓的步骤最优。证明了$\e$ -平衡点及相应的值函数$\e\rightarrow0^+$的收敛性.
2020-10-21 math.OC math.PR
Killed Markov Decision Processes on Finite Time Interval for Countable Models
我们考虑有限时间区间上可数模型的Killed Markov决策过程。证明了一致$\varepsilon$ -最优策略的存在性。我们证明了基本方程的正确性。最优控制问题是减少到一个类似的问题，推导出的模型。我们得到了一个最优性方程和一个简单的最优策略的构造方法。证明了可数模型的简单策略的充分性。我们证明了马尔可夫性质的正确性。此外，考虑了动态规划原则。
2013-04-09 math.OC math.PR
Optimizing Local Satisfaction of Long-Run Average Objectives in Markov Decision Processes
针对马尔可夫决策过程中长期平均目标的最优策略存在有限时间内状态访问频率与极限频率差异大的局部不稳定问题，本文提出了一种高效的算法解决方案。
2023-12-19 cs.MA math.OC
Efficient Sensitivity Analysis for Parametric Robust Markov Chains
Radboud University（拉德堡德大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对参数化鲁棒马尔可夫链，提出基于线性规划的高效灵敏度分析方法，可筛选高影响参数，适配百万状态、千级参数的模型，并可嵌入迭代学习方案提升性能。
2023-05-01 cs.LG cs.LO math.OC
Optimal control of multiple Markov switching stochastic system with application to portfolio decision
本文针对一类具有双重或多重Markov切换扩散过程的混合随机系统，建立了一个最优控制框架，而控制这些切换扩散过程的马尔可夫链并不像现有文献所假设的那样完全相同.作为该模型的应用和说明，我们解决了投资者面临的金融和劳动力市场都是政权转换的投资组合选择问题。在连续时间情形下，我们将两个独立的马尔可夫链合成为一个合成马尔可夫链，并推导出相应的生成矩阵，然后给出了新合成Markov切换扩散下最优控制问题的HJB方程.在某些合理的条件下，我们得到了显式解和值函数。
2020-10-30 math.OC q-fin.PM
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind（深度思维）
在这个简短的说明中，我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time
提出了一种新的随机线性规划算法来逼近折扣马尔可夫判定问题的最优策略。该算法利用价值-策略对偶和二叉树数据结构，自适应地对状态-动作-状态转换进行采样，并进行指数化的原始-对偶更新。我们发现，它发现了一个$ε$最优的政策，在最坏的情况下，使用接近线性的运行时间。当马尔可夫决策过程是遍历的，且以某些特殊的数据格式指定时，该算法利用运行时间对状态-动作对的总数是线性的，而对输入大小是次线性的，找到一个$ε$ -最优策略.这些结果为求解随机动态规划提供了一个新的场所和复杂性基准。
2017-09-13 cs.DS math.OC
A note on weak compactness of occupation measures for an absorbing Markov decision process
本文研究了具有Borel状态和动作空间的吸收马尔可夫决策过程，给出了使其一致吸收且占用测度集在弱拓扑下紧致的条件，推广了已有结果并回答了相关文献中的猜想。
2024-04-29 math.OC math.PR
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程（MDP）的时间复杂度相当于标准（非鲁棒）MDP这是显着快于任何现有的方法。我们这样做，通过推导出最佳的鲁棒贝尔曼算子的具体形式，使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式，这些策略是一种新的阈值策略，其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程（Markov decision process，MDP）拥塞博弈是经典拥塞博弈的一种扩展，其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程：策略的收益随着更多的种群使用它而减少。特别是，我们表明，在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励，社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法，其中收费和激励措施是为了两个独立的目标而实施的：保证西雅图市中心的最小驾驶员密度，并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Markov Decision Processes under Ambiguity
我们考虑统计马尔可夫决策过程中的决策者是风险厌恶对模型的模糊性。后者由影响过渡律和费用函数的未知参数给出。风险厌恶可以通过熵风险度量或平均风险值来衡量。我们展示了如何使用一般的极小极大定理来解决这类问题。在一些连续性和紧凑性的假设下，我们证明了最优（确定性）政策的存在性，并讨论其计算。我们用一个统计决策论的例子来说明我们的结果。
2019-07-04 math.OC math.ST stat.TH
Markov Decision Process Design: A Framework for Integrating Strategic and Operational Decisions
本文提出一个整合系统设计与运营决策的建模框架，通过双层混合整数线性规划公式同时最小化设计成本与预期运营成本，并经计算研究证明现实实例可数值求解。
2024-03-21 cs.SY eess.SY math.OC
Controlling a Markov Decision Process with an Abrupt Change in the Transition Kernel
我们考虑的控制马尔可夫决策过程（MDP），经历了突变的过渡核（模式）。我们制定的问题最小化的遗憾下控制切换模式变化检测的基础上，相比模式观测控制器，作为一个最优停止问题。使用一系列的近似，我们把它减少到一个最快的变化检测（QCD）的问题与马尔可夫数据，我们的特点是状态依赖的阈值型最优变化检测策略。数值实验说明了我们的控制切换策略的各种属性。
2022-10-08 cs.SY eess.SY math.OC
Economic MPC of Markov Decision Processes: Dissipativity in Undiscounted Infinite-Horizon Optimal Control
经济模型预测控制（MPC）耗散性理论是讨论最小化经济阶段成本所导致的政策稳定性的核心。在目前的形式下，经济MPC的耗散性理论适用于基于确定性动力学的问题或非常特定的随机问题，并且不容易扩展到一般的马尔可夫决策过程。在本文中，我们澄清了这一困难的核心原因，并提出了一个推广的经济MPC耗散理论，绕过它。这个推广的重点是未贴现的无限时域问题，是基于非线性阶段成本泛函，允许一个讨论的Lyapunov渐近稳定性的政策马尔可夫决策过程的概率措施，其随机动态。该理论被证明为随机线性二次型调节器与高斯过程噪声，其中存储功能可以显式提供。为了简洁起见，我们将我们的讨论限制在非折扣马尔可夫决策过程。
2022-07-22 cs.SY eess.SY math.OC
