Risk-Sensitive Partially Observable Markov Decision Processes as Fully Observable Multivariate Utility Optimization problems
当风险由一个效用函数建模，且状态空间和观测空间都是有限的时，我们给出了一个求解风险敏感部分可观测马尔可夫决策过程的新算法.该算法是基于这样的观察，即用于指数效用函数的测量的改变和随后的信息空间的引入实际上可以扩展为指数的和，如果引入跟踪对应于每个指数的“预期累积成本”的额外的向量参数。由于每一个增函数都可以用有限区间内的指数和来近似，因此该方法基本上可以应用于任何效用函数，其复杂性取决于指数的数量。
2022-07-17 math.OC
Network Utility Maximization over Partially Observable Markovian Channels
我们考虑部分可观测马尔可夫开/关信道上的效用最大化问题。在该网络中，瞬时信道状态是未知的，并且根据过去的观测提供的部分信道信息，在每个时隙中最多选择一个用户进行服务。直接求解效用最大化问题是困难的，因为它涉及到求解部分可观测的马尔可夫决策过程。相反，我们构建了一个近似解优化网络效用只在一个良好的约束网络容量区域呈现的平稳策略。使用一种新的基于帧的李雅普诺夫漂移参数，我们设计了一个政策的准入控制和用户选择，稳定网络的效用，可以任意接近最优的约束区域。等价地，我们正在处理一个高维的不安分土匪问题的一般功能目标马尔可夫ON/OFF不安分土匪。因此，本文开发的网络控制算法作为一种新的近似方法来攻击这样复杂的不安土匪问题。
2010-08-20 cs.NI math.OC
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Finite Model Approximations for Partially Observed Markov Decision Processes with Discounted Cost
Ozyegin University（奥兹耶金大学）；Queen’s University（女王大学）
本文研究了部分观察马尔可夫决策过程在折扣成本下的有限模型近似方法，通过统一量化信念空间中的状态和动作空间，提出近似策略在信念空间MDP中近似最优，从而解决原始部分观察问题。
2017-10-19 cs.SY eess.SY math.OC
Partially Observable Total-Cost Markov Decision Processes with Weakly Continuous Transition Probabilities
本文给出了具有Borel状态集、观测集和行动集的部分可观测马尔可夫决策过程（POMDP）在期望总费用下存在最优策略的充分条件.动作集可能不是紧凑的，并且单步费用函数可能是无界的。引入的条件也是充分的最优性方程的有效性，半连续的值函数，和收敛的值迭代到最优值。由于POMDPs可以归结为完全可观测的马尔可夫决策过程（COMDPs），其状态是后验状态分布，本文着重于上述最优性的有效性COMDPs。中心问题是COMDP的转移概率是否是弱连续的。我们为此引入了充分条件，并表明，转移概率的COMDP是弱连续的，如果转移概率的基本马尔可夫决策过程是弱连续的和观察概率的POMDP是连续的全变差。此外，观测概率的全变差的连续性不能弱化为集态连续性。最后用反例和实例说明了结果。
2014-07-01 math.OC
Finite-Horizon Partially Observable Semi-Markov Games with Risk Probability Criteria
针对系统状态部分可观测的两人零和半马尔可夫博弈，本文基于状态空间扩充技术分析终端累积收益低于目标的风险概率，推导沙普利方程并证明值函数唯一存在及纳什均衡存在。
2025-08-25 math.OC
Pathwise uniform value in gambling houses and Partially Observable Markov Decision Processes
在几个标准的动态规划模型（赌场，MDPs，POMDPs），我们证明了存在一个非常强大的概念的价值无限重复的问题，即路径一致的价值。这解决了两个开放的问题。首先，这表明，对于任何n>0，决策者有一个纯策略sigma，它在任何n阶段博弈中都是ε-最优的，前提是n足够大（这个结果只适用于行为策略，即使用随机化的策略）。第二，可以选择策略sigma，使得在长期平均收益标准（平均收益的limif的期望）下，决策者具有大于lim v（n）-n的收益。
2015-09-08 math.OC
Entropy Maximization for Partially Observable Markov Decision Processes
我们研究的问题，合成的控制器，最大化的熵的部分可观察的马尔可夫决策过程（POMDP）的约束下的预期总回报。这样的控制器最大限度地减少了一个代理的轨迹的可预测性，以外部观察员，同时保证完成一个任务所表示的报酬函数。我们首先证明了一个部分观察的代理可以实现熵最多以及一个代理完美的意见。然后，专注于有限状态控制器（FSC）与确定性的记忆转换，我们表明，最大熵的POMDP是下界的参数马尔可夫链（pMC）诱导的FSC的最大熵。这种关系使我们能够重铸的熵最大化问题作为一个所谓的参数合成问题的诱导pMC。然后，我们提出了一种算法来合成一个FSC，本地最大化的POMDP的FSC与相同数量的内存状态的熵。在数值例子中，我们说明了最大熵，在FSC的记忆状态的数量，和预期的回报之间的关系。
2021-05-16 math.OC
Numerical method to solve impulse control problems for partially observed piecewise deterministic Markov processes
本文针对跳跃时间隐藏的PDMP脉冲控制问题，将其建模为连续状态POMDP，通过定制化状态空间离散化构造可计算近似，并处理随机跳跃带来的离散化误差，最终通过仿真验证方法有效性。
2025-11-06 math.OC math.ST stat.TH
The Value Function Semi-Algebraic Set in Partially Observable Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克科学促进会科学数学研究所）
本文刻画了无限时域部分可观测马尔可夫决策过程（POMDP）中无记忆随机策略下可行值函数的几何结构，将其表示为由多项式不等式定义的半代数集，并揭示了部分可观测性导致的非线性约束和孤立局部极大值现象。
2026-06-02 math.AG math.OC stat.ML
Modeling Cascading Driver Interventions in Partially Automated Traffic: A Semi-Markov Chain Approach
本文针对部分自动化交通中级联驾驶员干预问题，提出带锁定约束的半马尔可夫链建模框架，证明系统为分段仿射双线性系统并验证其稳定性，数值实验揭示了级联影响及参数对交通吞吐量的作用。
2025-05-06 math.DS math.OC
Distributionally Robust Partially Observable Markov Decision Process with Moment-based Ambiguity
我们考虑一个分布鲁棒的部分可观测马尔可夫决策过程（DR-POMDP），其中的转移观测概率的分布是未知的，在每个决策周期的开始，但它们的实现可以推断出使用边信息在每个周期结束后采取的行动。我们建立了一个模糊集的联合分布使用有界矩通过圆锥约束，并寻求一个最佳的政策，以最大化最坏情况下（最小）的奖励在集合中的任何分布。我们证明了DR-POMDP的价值函数是分段线性凸的信念状态，并提出了一种启发式的搜索值迭代法，以获得下，上界的价值函数。我们进行数值研究，并证明我们的方法通过测试的动态流行病控制问题的实例的计算性能。我们的研究结果表明，DR-POMDP可以产生更强大的政策下错误指定的转移观察概率的分布相比，POMDP，但成本较低的解决方案比强大的POMDP。DR-POMDP策略对模糊度集中的变化参数和在每个决策周期结束时获得的真实过渡观测概率值中添加的噪声也不敏感。
2020-12-08 math.OC
Convergence in Distribution of Randomized Algorithms: The Case of Partially Separable Optimization
本文用马尔可夫链理论分析部分分块可分优化中的分块随机算法，刻画马尔可夫算子正则性、分布收敛速率及高阶矩，并在随机分块 forward-backward 与 Douglas-Rachford 算法上验证。
2023-10-31 math.OC math.PR
Indirect NRDF for Partially Observable Gauss-Markov Processes with MSE Distortion: Complete Characterizations and Optimal Solutions
本文研究了具有硬均方误差（MSE）失真约束的部分可观测多变量Gauss-Markov过程的非预期率失真函数（NRDF）的刻画和计算问题。对于有限时间范围的情况下，我们首先推导出这个问题的完整表征和相应的最佳实现，这是一个线性函数的当前时间足够的统计过去和当前的观测信号。我们表明，当问题是严格可行的，它可以通过半定规划（SDP）算法计算。对于平均总MSE失真的时变标量过程，我们推导出一个最佳的封闭形式的表达，通过一个动态的反向注水的解决方案，我们也通过一个迭代方案，在有限时间内线性收敛，和一个封闭形式的解决方案下逐点MSE失真约束。对于无限时域，给出了观测信号的充分统计过程渐近地达到相应协方差矩阵的稳态解的充分必要条件，并给出了允许存在时不变解的条件.然后，我们表明，当一个有限的解决方案存在于渐近极限，它可以通过SDP算法计算。我们还给出了强大的结构特性的渐近极限，允许通过一个反向注水算法，我们通过一个迭代方案，收敛线性有限数量的空间分量下实现的最佳解决方案的表征的问题。我们的研究结果与各种模拟研究相印证，并与文献中现有的结果进行了比较。
2021-10-20 cs.IT cs.SY eess.SY
Reinforcement Learning: Stochastic Approximation Algorithms for Markov Decision Processes
本文简要介绍了马尔可夫决策过程强化学习中的随机逼近算法。该算法也可以用作部分观测马尔可夫决策过程的次优方法。
2015-12-23 math.OC
Contributions on complexity bounds for Deterministic Partially Observed Markov Decision Process
本文针对确定性部分可观测马尔可夫决策过程（Det-POMDP）改进其复杂度界，并提出更简单的分离型 Det-POMDP 类，利用动力学与观测性质缓解维度灾难。
2025-09-23 math.OC
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Operator Splitting for Convex Constrained Markov Decision Processes
针对凸约束马尔可夫决策过程，提出基于 Douglas-Rachford splitting 的一阶算法，通过分解动态与约束实现高效求解，确保收敛性与稳定性，并在约束不可行时计算最小违约策略。
2024-12-18 cs.SY eess.SY math.OC
Partially observed controlled Markov chains and optimal control of the Wonham filter
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）
本文研究了部分观测的受控马尔可夫链的最优控制问题，通过分离方法将问题转化为Wonham滤波方程，并证明了其与原问题的等价性。
2026-02-18 math.OC math.PR
Dynamic Driver Allocation Under Latent Demand Regimes: Indexability of a Partially Observed Markov Decision Process
Cleveland State University（克利夫兰州立大学）；Federal University of Mato Grosso do Sul（南马托格罗索联邦大学）
研究即时配送暗店在潜在需求模式下司机分配问题，通过将单店问题建模为部分可观测马尔可夫决策过程并证明其可索引性，扩展至跨店司机池，得出两级分配政策，基于数据验证该方法能带来显著增益。
2026-07-09 math.OC
Cross-Entropic Learning of a Machine for the Decision in a Partially Observable Universe
对先前题为“在部分可观测的马尔可夫宇宙中学习机器决策”的论文的修订在本文中，我们对部分可观测宇宙中的最优决策感兴趣。我们的方法是直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。一个特定的家庭隐马尔可夫模型，输入\emph{and}输出，被认为是一个模型的政策。提出了一种优化这些阻尼器的参数的方法，并应用。这种优化是基于交叉熵原理的稀有事件模拟鲁宾斯坦开发的。
2006-05-18 cs.AI cs.LG cs.NE
Markov Decision Processes with Incomplete Information and Semi-Uniform Feller Transition Probabilities
研究部分可观测离散随机系统的控制问题。介绍并研究了具有半一致Feller转移概率的不完全信息马氏决策过程。这些模型的重要特征是，他们的经典约简为完全可观察马尔可夫决策过程的信念状态保持半一致的Feller连续的转移概率。在对费用函数的温和假设下，最优策略存在，最优性方程成立，并且值迭代收敛到这些模型的最优值。特别地，对于部分可观测的马尔可夫决策过程，本文的结果包含了新的和推广了几个已知的关于具有信念状态的马尔可夫决策过程的转移概率弱连续性的转移概率和观测概率的充分条件，最优策略的存在性，定义最优策略的最优性方程的有效性，以及值迭代收敛到最优值的充分条件.
2022-08-26 math.OC
On Separation Between Learning and Control in Partially Observed Markov Decision Processes
信息物理系统（CPS）遇到大量的数据，这些数据是实时地逐渐添加到系统中的，而不是完全提前。随着数据量的增加，控制策略的域也增加，因此搜索最优策略变得具有挑战性。即使找到了最优控制策略，在增加域的情况下实施这样的策略也是繁重的。为了推导CPS中的最优控制策略，我们通常假设系统的理想模型。由于模型与实际CPS之间的差异，这种基于模型的控制方法不能有效地促进具有性能保证的最优解。或者，传统的监督学习方法不能总是使用离线导出的数据来促进鲁棒的解决方案。同样，将强化学习方法直接应用于实际CPS可能会对系统的安全性和鲁棒性产生重大影响。本章的目标是提供一个理论框架，旨在分离的控制和学习任务，使我们能够结合离线基于模型的控制与在线学习的方法，从而规避挑战，在推导CPS的最优控制策略。
2022-11-28 math.OC
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan（密歇根大学）
在部分可观测马尔可夫决策过程（POMDP）理论中，最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题，从而得到信念-MDP。然而，即使原始系统具有有限的状态和动作空间，使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的，因为完全观察的信念-MDP模型的状态空间总是不可数的。此外，存在非常少的严格的值函数近似和最优策略近似结果，因为所需的正则性条件通常需要繁琐的研究，涉及概率测度的空间，导致诸如Feller连续性的性质。在本文中，我们研究了POMDPs的规划问题，其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间，只有有限的窗口信息变量。然后，我们找到近似模型的最优策略，我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的（和状态空间是实向量值）的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果，涉及有限的窗口内存大小和近似误差界，其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果，一个明确的收敛速率的结果是新的文献，据我们所知。
2022-01-08 cs.LG math.OC
Partially Observed, Multi-objective Markov Games
Georgia Institute of Technology（佐治亚理工学院）
本研究的目的是生成一组非支配的政策，其中一个两个代理（领导者）可以选择一个最喜欢的政策来控制一个动态系统，也受到其他代理（追随者）的控制决策。该问题是由一个无限的地平线，部分观察马尔可夫博弈（POMG）。在每个决策时期，每个智能体都知道：它的过去和现在的状态，它过去的动作，以及对其他智能体过去和现在状态的噪声破坏观察。基于这些数据，在每个决策时期确定每个代理的动作。领导者在选择政策时考虑多个目标。跟随者在选择策略时考虑单一目标，并完全了解领导者选择的策略并对其做出响应。这种领导者-跟随者的假设允许POMG被转换成一个特殊结构的，部分可观察的马尔可夫决策过程（POMDP）。POMDP用于确定跟随者的最佳响应策略。一个多目标遗传算法（MOGA）是用来创建下一代的领导者政策的基础上，在当前一代的适应度措施。给定领导者策略和跟随者的最佳响应策略，计算领导者策略的适应度度量需要值确定计算。领导者可以从中选择最优选策略的策略是由MOGA创建的最后一代领导者策略的非支配策略。一个例子，说明了这些结果可以被用来支持一个经理的液体鸡蛋生产过程（领导者）在选择一系列的行动，以最好地控制这个过程随着时间的推移，鉴于有一个攻击者（追随者）谁寻求污染的液体鸡蛋生产过程中的化学或生物毒素。
2014-04-16 cs.AI cs.GT math.OC
