Wasserstein Distributionally Robust Control of Partially Observable Linear Systems: Tractable Approximation and Performance Guarantee
Wasserstein分布鲁棒控制（WDRC）是解决随机系统中扰动分布信息不准确的有效方法。它提供了各种显着的功能，如样本外的性能保证，而大多数现有的方法使用全状态观测。本文针对离散时间部分可观测线性二次（LQ）控制问题，提出了一种计算上易于处理的WDRC方法。其关键思想是将WDRC问题转化为一个新的具有近似Wasserstein罚的极大极小控制问题。我们推导出一个封闭形式的近似问题的最优控制策略的表达使用一个非平凡的Riccati方程。我们进一步证明了所得到的控制器的保证成本属性，并确定了最优性差距的可证明界。最后，我们评估我们的方法的性能，通过数值实验使用高斯和非高斯扰动。
2022-09-07 cs.SY eess.SY
Cost-Bounded Active Classification Using Partially Observable Markov Decision Processes
University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文研究了利用有限个马尔可夫决策过程模型对动态系统进行主动分类的问题，提出了一种基于部分可观测马尔可夫决策过程的决策理论框架，通过计算分类信念的概率分布来确定系统的真实模型，并采用价值迭代和自适应采样两种方法设计POMDP策略以实现高效高置信度的分类决策。
2018-09-28 cs.SY eess.SY
Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process
Department of Industrial and Enterprise Systems Engineering（工业与企业系统工程系）
本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法，用于部分可观测马尔可夫决策过程，同时估计POMDP参数和Q函数，并证明其收敛性。
2018-09-24 cs.LG cs.SY eess.SY
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin（德克萨斯大学奥斯汀分校）
主动感知策略使智能体能够有选择地收集信息，以提高其性能。在应用程序中，代理不具有现有的信息源的先验知识，它是至关重要的综合主动感知策略在运行时。我们认为，在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下，部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略，选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明，所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
Finite Model Approximations for Partially Observed Markov Decision Processes with Discounted Cost
Ozyegin University（奥兹耶金大学）；Queen’s University（女王大学）
本文研究了部分观察马尔可夫决策过程在折扣成本下的有限模型近似方法，通过统一量化信念空间中的状态和动作空间，提出近似策略在信念空间MDP中近似最优，从而解决原始部分观察问题。
2017-10-19 cs.SY eess.SY math.OC
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Nash Approximation Gap in Truncated Infinite-horizon Partially Observable Markov Games
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种有限记忆截断框架，将无限 horizon 部分可观测马尔可夫游戏近似为有限状态和动作的马尔可夫游戏，证明截断游戏的纳什均衡是原游戏的ε-纳什均衡，ε随截断长度增加而趋近于零。
2026-09-22 cs.MA cs.SY eess.SY
Minimum Rate For Partially Observable Linear System with Side Information: LQG Plant and Gaussian-Markov Source
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对带边信息的部分可观测线性系统，以LQG装置与高斯-马尔可夫源为对象，证明线性策略可优化条件定向信息下界，对应标量情况的优化问题为凸，结果推广了过往相关研究，数值仿真验证了边信息的作用。
2026-09-10 cs.IT cs.SY eess.SY
Model Predictive Path Integral Control Framework for Partially Observable Navigation: A Quadrotor Case Study
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；I3S（蔚蓝海岸大学与法国国家科学研究中心联合研究所）
近年来，模型预测路径积分（MPPI）控制算法已被广泛应用于自主导航任务，其中大多数假设成本地图是已知的，并且仅执行2D导航任务。在本文中，我们提出了一个通用的MPPI控制框架，可用于2D或3D自主导航任务，在完全或部分可观察的环境中，这是最普遍的机器人应用。该框架直接利用从机载传感系统获取的3D体素网格进行无碰撞导航。我们测试的框架，在现实的RotorS为基础的模拟，在一个混乱的环境中，完全和部分可观察的情况下，目标导向的四旋翼导航任务。初步结果表明，所提出的框架工作完美，部分可观测性下，在二维和三维杂乱的环境。
2020-10-14 cs.RO cs.SY eess.SY
Indexability and Rollout Policy for Multi-State Partially Observable Restless Bandits
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）；Polytechnique Montreal（蒙特利尔综合理工学院）
具有部分可观测状态的不安分多臂强盗在通信系统、信息时代和推荐系统中有应用。本文研究了多状态部分可观测的不安宁强盗模型。我们考虑了三种不同的基于决策者可观察信息的模型-- 1）从强盗的行动中没有信息可观察2）来自强盗的完美信息仅对强盗的一个行动是可观察的，存在固定的重新启动状态，即，从所有其它状态到该状态的转换发生3）完美的状态信息可用于对Bandit的两个动作的决策者，并且对于两个动作存在两个重启状态。我们发展结构特性。我们还展示了模型2和模型3的阈值类型策略和可索引性。我们提出蒙特卡罗（MC）推出政策。在模型2的情况下，我们使用它来计算whittle指数。我们得到的集中界的价值函数的地平线长度和数量的轨迹MC推出政策。我们推导出模型3的显式指数公式。最后，我们描述了蒙特卡洛推出政策模型1时，很难显示可索引性。我们使用近视政策，蒙特卡罗推出政策和惠特尔指数政策的数值例子。我们观察到，蒙特卡洛推出政策是一个很好的竞争政策，近视。
2021-07-30 cs.LG cs.SY eess.SY
Autonomous Thermalling as a Partially Observable Markov Decision Process (Extended Version)
Australian National University（澳大利亚国立大学）；Microsoft Research（微软研究院）
本文提出将自主热力上升建模为POMDP，并设计基于此的递推地平线控制器，通过在ArduPlane中实现并对比现有方法，验证了其在多架sUAV同时热力上升时的显著优势。
2018-05-24 cs.RO cs.SY eess.SY
Wasserstein Distributionally Robust Control of Partially Observable Linear Stochastic Systems
分布鲁棒控制旨在有效地处理随机系统中的分布模糊性。虽然大多数现有的作品解决不准确的分布信息在完全可观察的设置，我们认为部分可观察的离散时间线性系统使用Wasserstein度量的DRC问题。对于一个易于处理的解决方案，我们提出了一种新的近似方法，利用Wasserstein距离的Gelbrich界。利用现代分布鲁棒优化技术，我们推导出一个封闭形式的最优控制策略的表达式和一个易于处理的半定规划问题的最坏情况下的分布政策，在有限的地平线和无限地平线的平均成本设置。所提出的方法具有几个突出的理论特性，如保证成本属性和概率样本外的性能保证，证明了我们的控制器的分布鲁棒性。此外，所得到的控制器，以确保闭环稳定的平均状态系统。通过对一个电力系统频率控制问题的数值实验，检验了该方法的经验性能。
2022-12-22 cs.SY eess.SY math.OC
Outage Detection in Partially Observable Distribution Systems using Smart Meters and Generative Adversarial Networks
在本文中，我们提出了一种新的数据驱动的方法来检测停电事件在部分可观测的配电系统通过捕捉智能电表（SM）的数据分布的变化。为了实现这一目标，首先，提出了一种基于广度优先搜索（BFS）的机制，将网络分解为一组区域，最大限度地提高停电位置信息的部分可观测系统。然后，使用每个区域中的SM数据，生成对抗网络（GAN）被设计为以无监督的方式隐式地提取正常条件下的时空行为。在训练之后，利用异常评分技术来确定实时测量是否指示区域中的中断事件。最后，为了推断多区域网络中的停电事件的位置，提出了考虑交叉区域的相互依赖性的区域协调过程。我们提供了分析保证我们的算法使用熵的概念，这是利用量化停电的位置信息在多区域网格的性能。所提出的方法已被测试和验证的配电馈线模型与真实的SM数据。
2019-12-10 cs.SY eess.SP eess.SY
Information-Guided Robotic Maximum Seek-and-Sample in Partially Observable Continuous Environments
Massachusetts Institute of Technology（麻省理工学院）；Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）
我们提出了PLUMES，一个规划器定位和收集样本的先验未知和部分可观察的连续环境的全球最大值。“最大搜索和采样”（MSS）问题在环境和地球科学中普遍存在。专家们希望在环境最大限度内收集有科学价值的样本（例如，石油泄漏源），但没有关于这种现象的分布的先验知识。我们制定的MSS问题作为一个部分可观察的马尔可夫决策过程（POMDP）与连续的状态和观察空间，和一个稀疏的奖励信号。为了解决MSS POMDP，PLUMES使用信息理论奖励启发式与连续观察蒙特卡罗树搜索，以有效地定位和采样的全球最大值。在模拟和现场实验中，PLUMES在各种环境中收集了比最先进的规划者更有科学价值的样本，包括各种平台，传感器和具有挑战性的现实条件。
2019-09-26 cs.RO cs.SY eess.SY
Approximation Methods for Partially Observed Markov Decision Processes (POMDPs)
POMDPs是一种有用的模型，适用于外部观察者不完全知道系统的真实状态的系统;外部观察者不完全知道系统的真实状态，并观察到真实系统状态的噪声版本。当POMDP中的系统状态数很大时，通常需要使用近似方法来获得接近最优的控制解。本调查是围绕起源，理论和近似的有限状态POMDPs。为了理解POMDP，需要理解\autoref{mdp}中的有限状态马尔可夫决策过程（MDP）和\autoref{hmm}中的隐马尔可夫模型（HMM）。对于这一背景理论，我只提供了关于MDPs和障碍的基本细节，并在深入POMDPs的主要主题之前，将更长的论述留给教科书处理。一旦涵盖了所需的背景，就在\autoref{pomdp}中引入POMDP。POMDP的起源在经典论文部分\autoref{classical}中解释。一旦从精确的方法论角度理解了高计算要求，在\autoref{approximations}中对主要的近似方法进行了调查。最后，我总结了\autoref{conclusion}的一些新的研究方向。
2021-08-31 cs.LG cs.SY eess.SY
Multiple-Environment Markov Decision Processes
本文提出多环境马尔可夫决策过程，旨在设计一个控制器以保证在未知环境中性能，解决了部分可观测MDP中不可判定的问题。
2014-12-03 cs.LO cs.SY eess.SY
Optimal Control of Logically Constrained Partially Observable and Multi-Agent Markov Decision Processes
University of Southern California（南加州大学）；University of New Mexico（新墨西哥大学）
针对自主系统的逻辑约束、部分可观测性及多智能体信息不对称问题，提出带有限线性时序逻辑约束的POMDP最优控制理论与多智能体框架，可合成兼顾高奖励与约束满足概率的策略，经案例验证有效。
2024-06-19 cs.AI cs.FL cs.SY
Off-Policy Evaluation in Partially Observable Environments
Technion Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下强化学习的批量离策评估问题。在部分可观测性下的非政策评估本质上倾向于偏差，具有任意大误差的风险。我们定义了部分可观测马尔可夫决策过程（POMDPs）的离政策评估问题，并建立了我们认为是POMDPs的第一个离政策评估结果。此外，我们制定了一个模型，其中观察到的和未观察到的变量被解耦成两个动态过程，称为解耦POMDP。我们展示了如何在这个新模型下进行政策评估，减轻一般POMDPs固有的估计误差。我们证明了POMDP的政策外评估的陷阱，使用一个著名的政策外的方法，重要性采样，并将其与我们的结果进行比较合成的医疗数据。
2019-11-24 cs.AI cs.LG cs.SY
Active Trajectory Estimation for Partially Observed Markov Decision Processes via Conditional Entropy
在本文中，我们考虑的问题，控制部分可观察的马尔可夫决策过程（POMDP），以积极估计其状态轨迹在一个固定的水平线与最小的不确定性。我们提出了一种新的主动平滑问题，其目标是直接最小化平滑熵，即条件熵的（联合）状态轨迹分布的关注在固定区间贝叶斯平滑。我们的配方与以前的积极的方法，最小化的条件熵的贝叶斯滤波器提供的（边际）状态估计的总和。通过建立一种新的形式的平滑熵的POMDP的信念（或信息）状态，我们表明，我们的主动平滑问题可以重新表述为一个（完全观察到的）马尔可夫决策过程的价值函数，是凹的信念状态。的值函数的插值是特别重要的，因为它使我们的主动平滑问题的近似解使用分段线性函数近似与标准POMDP求解器。我们说明了我们的主动平滑问题的近似解决方案在模拟和比较其性能的替代方法的基础上最小化边际状态估计的不确定性。
2021-04-04 cs.IT cs.SY eess.SY
Partially Observable Markov Decision Processes in Robotics: A Survey
Universität Hamburg（汉堡大学）；National University of Singapore（新加坡国立大学）；Aalto University（阿尔托大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
噪声感测、不完善的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的数学框架，建模和解决机器人决策和控制任务下的不确定性。在过去的十年中，它已经看到了许多成功的应用，包括定位和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人机交互。这项调查的目的是弥合POMDP模型和算法的发展之间的差距，在一端和应用程序在其他不同的机器人决策任务。它分析了这些任务的特点，并将它们与POMDP框架的数学和算法属性联系起来，以实现有效的建模和解决方案。对于从业者来说，调查提供了一些关键的任务特征，以决定何时以及如何成功地将POMDPs应用于机器人任务。对于POMDP算法设计者来说，调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并为进一步研究指出了有前途的新方向。
2022-09-21 cs.AI cs.RO cs.SY
Partially Observable Minimum-Age Scheduling: The Greedy Policy
本文研究了无线传感器网络中的最小年龄调度问题，其中接入点（AP）通过一组传感器来监视对象的状态。由信息年龄（AoI）测量的感测状态的新鲜度在不同的传感器处变化，并且AP不能直接观察到。AP必须决定查询/采样哪个传感器，以便获得对象的最新状态信息（即，具有最小AoI的状态信息）。在本文中，我们制定的最小年龄调度问题作为一个多臂强盗问题，部分可观察的武器，并探讨贪婪的政策，以尽量减少预期的AoI采样在无限的地平线。为了分析贪婪策略的性能，我们1）提出了一种放松的贪婪策略，该策略简化了臂的采样过程，2）将每个臂的采样过程表示为部分可观测马尔可夫决策过程（POMDP），3）将放松贪婪策略下的平均采样AoI导出为从各个臂采样的平均AoI之和。数值和仿真结果验证了放松贪婪策略是一个很好的近似贪婪政策的期望AoI采样在一个无限的地平线。
2021-10-22 cs.IT cs.SY eess.SY
When Is Partially Observable Reinforcement Learning Not Scary?
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
强化学习（RL）的应用是普遍存在的，在这种应用中，智能体学习做出一系列决策，尽管缺乏关于受控系统潜在状态的完整信息，也就是说，它们在状态的部分可观测性下行事。众所周知，部分可观察的RL可能非常困难-众所周知的信息理论结果表明，学习部分可观察的马尔可夫决策过程（POMDPs）在最坏情况下需要指数数量的样本。然而，这并不排除存在POMDPs的大型子类，在这些子类上学习是容易处理的。在本文中，我们确定这样一个子类，我们称之为弱揭示POMDPs。这个家族排除了POMDP的病理情况，在这种情况下，观察结果在一定程度上是没有信息的，这使得学习困难。我们证明，弱揭示POMDPs，一个简单的算法相结合的乐观和最大似然估计（MLE）是足以保证多项式样本的复杂性。据我们所知，这是第一个可证明的样本有效的结果，用于从过完备POMDPs中的相互作用中学习，其中潜在状态的数量可以大于观察的数量。
2022-05-24 cs.AI cs.LG cs.SY
Finite Memory Belief Approximation for Optimal Control in Partially Observable Markov Decision Processes
Hybrid Robotics Lab , University of California, Berkeley（混合机器人实验室，加州大学伯克利分校）
本文提出有限记忆信念近似在部分可观测马尔可夫决策过程中的应用，通过度量理论分析信息损失与控制性能的关系，并验证了在LQG系统中信念不匹配随记忆长度的指数衰减。
2026-01-06 cs.IT cs.LG cs.SY
Variational Recurrent Models for Solving Partially Observable Control Tasks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
在部分可观测（PO）环境中，深度强化学习（RL）代理通常会表现不佳，因为需要同时解决两个问题：如何从原始观测中提取信息来解决任务，以及如何改进策略。在这项研究中，我们提出了一个RL算法解决PO任务。我们的方法包括两个部分：一个变分递归模型（VRM）的环境建模，和RL控制器，可以访问的环境和VRM。所提出的算法进行了测试，在两种类型的PO机器人控制任务，那些在坐标或速度是不可观察的，那些需要长期记忆。我们的实验表明，该算法实现了更好的数据效率和/或学习更优化的政策比其他替代方法在任务中，未观察到的状态不能推断出原始观测在一个简单的方式。
2019-12-24 cs.LG cs.NE cs.SY
A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing
Cornell University（康奈尔大学）；Imperial College London（帝国理工学院）；Aalborg University（奥尔堡大学）；University of Trieste（的里雅斯特大学）
针对低秩潜在动力学且模型未知的分散式部分可观测团队决策问题，提出结合团队等价性与低秩表示的分散学习规划算法，各成员基于局部信息和延迟共享信息学习近似MDP并采用最小二乘值迭代，无需集中协调或训练，可逼近集中式团队最优解，并给出有限样本保证与样本复杂度界。
2026-09-23 cs.LG cs.SY eess.SY
Probabilistic inverse optimal control for non-linear partially observable systems disentangles perceptual uncertainty and behavioral costs
Centre for Cognitive Science（认知科学中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文提出一种针对部分可观测随机非线性系统且动作信号未知的概率逆最优控制方法，通过噪声显式建模与局部线性化推导可单次前向计算的近似似然，并证明其能在序贯决策中分离感知不确定性与行为代价。
2023-10-30 cs.LG cs.SY eess.SY
