Cost-Bounded Active Classification Using Partially Observable Markov Decision Processes
University of Texas, Austin(德克萨斯大学奥斯汀分校)
本文研究了利用有限个马尔可夫决策过程模型对动态系统进行主动分类的问题,提出了一种基于部分可观测马尔可夫决策过程的决策理论框架,通过计算分类信念的概率分布来确定系统的真实模型,并采用价值迭代和自适应采样两种方法设计POMDP策略以实现高效高置信度的分类决策。
2018-09-28 cs.SY eess.SY
Anderson Acceleration for Partially Observable Markov Decision Processes: A Maximum Entropy Approach
部分可观测马尔可夫决策过程(POMDPs)是一个丰富的数学框架,它包含了一大类复杂的序列决策问题下的不确定性与有限的观察。然而,POMDP的复杂性带来了各种计算挑战,激发了对快速找到足够好的次优解的有效算法的需求。在本文中,我们提出了一种新的加速离线POMDP算法,利用安德森加速(AA),能够有效地解决不动点问题,使用以前的解决方案估计。我们的算法是基于Q函数近似(QMDP)的方法,以减轻POMDP固有的可扩展性问题。受AA的拟牛顿解释的启发,我们提出了QMDP的最大熵变体,我们称之为软QMDP,以充分受益于AA。我们证明了整个算法收敛到软QMDP得到的次优解。我们的算法也可以实现在一个无模型的方式使用模拟数据。可证明的残差和解决方案的误差范围提供了研究如何通过所提出的算法传播的模拟误差。最后,我们的算法的性能进行了测试的几个基准问题。根据我们的实验结果,所提出的算法收敛速度显着更快,而不会降低解决方案的质量相比,它的标准同行。
2022-11-28 cs.SY eess.SY
Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process
Department of Industrial and Enterprise Systems Engineering(工业与企业系统工程系)
本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法,用于部分可观测马尔可夫决策过程,同时估计POMDP参数和Q函数,并证明其收敛性。
2018-09-24 cs.LG cs.SY eess.SY
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin(德克萨斯大学奥斯汀分校)
主动感知策略使智能体能够有选择地收集信息,以提高其性能。在应用程序中,代理不具有现有的信息源的先验知识,它是至关重要的综合主动感知策略在运行时。我们认为,在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下,部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略,选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明,所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
Finite Model Approximations for Partially Observed Markov Decision Processes with Discounted Cost
Ozyegin University(奥兹耶金大学);Queen’s University(女王大学)
本文研究了部分观察马尔可夫决策过程在折扣成本下的有限模型近似方法,通过统一量化信念空间中的状态和动作空间,提出近似策略在信念空间MDP中近似最优,从而解决原始部分观察问题。
2017-10-19 cs.SY eess.SY math.OC
A Model-free Biomimetics Algorithm for Deterministic Partially Observable Markov Decision Process
针对确定性部分可观察马尔可夫决策过程(DET-POMDP)中状态隐藏导致决策困难的问题,提出无模型仿生算法BIOMAP,将其转换为完全可观察MDP以区分真实与欺诈数据,从而制定稳定策略并显著提升在环境欺骗下的运行效能。
2024-12-19 cs.SY eess.SY
A Learning Based Approach to Control Synthesis of Markov Decision Processes for Linear Temporal Logic Specifications
University of California, Berkeley(加州大学伯克利分校)
本文提出通过构建产品马尔可夫决策过程来合成满足线性时序逻辑规范的控制器,利用学习理论技术处理未知转移概率的情况,并通过交通控制案例验证方法的有效性。
2014-09-18 cs.SY eess.SY
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne(墨尔本大学);The Australian National University(澳大利亚国立大学)
本研究提出熵正则化POMDP框架,证明标准技术可提供有界误差解,并发现联合熵正则化可实现精确的主动状态估计,构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Verifying Stochastic Hybrid Systems with Temporal Logic Specifications via Model Reduction
我们提出了一个可扩展的方法来验证随机混合系统。利用Mori-Zwanzig约化方法,构造了一个随机混合系统的有限状态马尔可夫链约化,并证明了该约化的马尔可夫链在分布意义下与原系统近似等价.近似等价的随机混合系统和它的马尔可夫链约简意味着分析马尔可夫链的适当加强的属性,使我们能够得出结论,是否原来的随机混合系统满足其时态逻辑规格。我们提出了第一个统计模型检测算法来验证随机混合系统的正确性,表示在线性不等式线性时态逻辑(iLTL)或度量区间时态逻辑(MITL)。
2020-09-16 cs.SY eess.SY math.OC
Nash Approximation Gap in Truncated Infinite-horizon Partially Observable Markov Games
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种有限记忆截断框架,将无限 horizon 部分可观测马尔可夫游戏近似为有限状态和动作的马尔可夫游戏,证明截断游戏的纳什均衡是原游戏的ε-纳什均衡,ε随截断长度增加而趋近于零。
2026-09-22 cs.MA cs.SY eess.SY
Optimal Control of Markov Decision Processes for Efficiency with Linear Temporal Logic Tasks
研究马尔可夫决策过程在满足线性时序逻辑定性任务前提下的效率最优控制问题,通过结合状态分类与扰动分析提出一种实现$ε$-最优性的平稳控制策略综合方法。
2025-09-18 cs.SY eess.SY
Minimum Rate For Partially Observable Linear System with Side Information: LQG Plant and Gaussian-Markov Source
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对带边信息的部分可观测线性系统,以LQG装置与高斯-马尔可夫源为对象,证明线性策略可优化条件定向信息下界,对应标量情况的优化问题为凸,结果推广了过往相关研究,数值仿真验证了边信息的作用。
2026-09-10 cs.IT cs.SY eess.SY
Autonomous Thermalling as a Partially Observable Markov Decision Process (Extended Version)
Australian National University(澳大利亚国立大学);Microsoft Research(微软研究院)
本文提出将自主热力上升建模为POMDP,并设计基于此的递推地平线控制器,通过在ArduPlane中实现并对比现有方法,验证了其在多架sUAV同时热力上升时的显著优势。
2018-05-24 cs.RO cs.SY eess.SY
Synthesis of Discounted-Reward Optimal Policies for Markov Decision Processes Under Linear Temporal Logic Specifications
针对一般线性时序逻辑(LTL)规范下的折扣马尔可夫决策过程,提出了一种寻找关于报酬函数的最优策略的方法。以前的工作要么集中在最大化有限持续时间任务下的累积奖励目标,由句法共同安全的LTL指定,要么最大化持久的平均奖励(例如,监视)任务。本文通过引入一对占用测度来分别表示LTL满意度目标和期望折扣奖励目标,扩展和推广了这些结果。这些占用措施,然后连接到一个单一的政策,通过一个新的减少导致在一个混合整数线性规划的解决方案提供了一个最佳的政策。我们的公式也可以扩展到包括额外的约束条件的二级奖励功能。我们说明了我们的方法的有效性,在机器人运动规划的背景下,复杂的任务不确定性和性能目标。
2021-03-22 cs.FL cs.SY eess.SY
Approximation Methods for Partially Observed Markov Decision Processes (POMDPs)
POMDPs是一种有用的模型,适用于外部观察者不完全知道系统的真实状态的系统;外部观察者不完全知道系统的真实状态,并观察到真实系统状态的噪声版本。当POMDP中的系统状态数很大时,通常需要使用近似方法来获得接近最优的控制解。本调查是围绕起源,理论和近似的有限状态POMDPs。为了理解POMDP,需要理解\autoref{mdp}中的有限状态马尔可夫决策过程(MDP)和\autoref{hmm}中的隐马尔可夫模型(HMM)。对于这一背景理论,我只提供了关于MDPs和障碍的基本细节,并在深入POMDPs的主要主题之前,将更长的论述留给教科书处理。一旦涵盖了所需的背景,就在\autoref{pomdp}中引入POMDP。POMDP的起源在经典论文部分\autoref{classical}中解释。一旦从精确的方法论角度理解了高计算要求,在\autoref{approximations}中对主要的近似方法进行了调查。最后,我总结了\autoref{conclusion}的一些新的研究方向。
2021-08-31 cs.LG cs.SY eess.SY
Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications
University of Southern California(南加利福尼亚大学)
我们提出了一个无模型的强化学习算法,以找到一个最佳的政策,有限的地平线马尔可夫决策过程,同时保证所需的下界的概率满足信号时序逻辑(STL)规范。我们提出了一种方法来有效地增加MDP的状态空间,以捕捉所需的状态历史,并表示为可达性目标的STL目标。然后,规划问题可以被公式化为有限时域约束的马尔可夫决策过程(CMDP)。对于具有未知转移概率的一般有限时域CMDP问题,我们开发了一种强化学习方案,该方案可以利用任何无模型RL算法来提供非平稳随机策略的一般空间中的近似最优策略。我们说明了我们的方法的有效性,在机器人运动规划的背景下,复杂的任务不确定性和性能目标。
2021-09-27 cs.AI cs.FL cs.SY
Multiple-Environment Markov Decision Processes
本文提出多环境马尔可夫决策过程,旨在设计一个控制器以保证在未知环境中性能,解决了部分可观测MDP中不可判定的问题。
2014-12-03 cs.LO cs.SY eess.SY
Active Trajectory Estimation for Partially Observed Markov Decision Processes via Conditional Entropy
在本文中,我们考虑的问题,控制部分可观察的马尔可夫决策过程(POMDP),以积极估计其状态轨迹在一个固定的水平线与最小的不确定性。我们提出了一种新的主动平滑问题,其目标是直接最小化平滑熵,即条件熵的(联合)状态轨迹分布的关注在固定区间贝叶斯平滑。我们的配方与以前的积极的方法,最小化的条件熵的贝叶斯滤波器提供的(边际)状态估计的总和。通过建立一种新的形式的平滑熵的POMDP的信念(或信息)状态,我们表明,我们的主动平滑问题可以重新表述为一个(完全观察到的)马尔可夫决策过程的价值函数,是凹的信念状态。的值函数的插值是特别重要的,因为它使我们的主动平滑问题的近似解使用分段线性函数近似与标准POMDP求解器。我们说明了我们的主动平滑问题的近似解决方案在模拟和比较其性能的替代方法的基础上最小化边际状态估计的不确定性。
2021-04-04 cs.IT cs.SY eess.SY
Temporal logic control of general Markov decision processes by approximate policy refinement
California Institute of Technology(加州理工学院);School of Computing, Newcastle University(纽卡斯尔大学计算机学院);Computer Science Department, Oxford University(牛津大学计算机科学系)
本文研究了如何利用近似概率关系在一般马尔可夫决策过程上实现正确-by-设计的时序逻辑控制,通过在抽象模型上进行计算,确保在抽象模型上满足的属性在原始模型上也能通过细化的控制策略得到满足。
2018-11-27 cs.LO cs.SY eess.SY
Partially Observable Markov Decision Processes in Robotics: A Survey
Universität Hamburg(汉堡大学);National University of Singapore(新加坡国立大学);Aalto University(阿尔托大学);Technische Universität Darmstadt(达姆施塔特工业大学)
噪声感测、不完善的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观测马尔可夫决策过程(POMDP)提供了一个原则性的数学框架,建模和解决机器人决策和控制任务下的不确定性。在过去的十年中,它已经看到了许多成功的应用,包括定位和导航,搜索和跟踪,自动驾驶,多机器人系统,操纵和人机交互。这项调查的目的是弥合POMDP模型和算法的发展之间的差距,在一端和应用程序在其他不同的机器人决策任务。它分析了这些任务的特点,并将它们与POMDP框架的数学和算法属性联系起来,以实现有效的建模和解决方案。对于从业者来说,调查提供了一些关键的任务特征,以决定何时以及如何成功地将POMDPs应用于机器人任务。对于POMDP算法设计者来说,调查为将POMDP应用于机器人系统的独特挑战提供了新的见解,并为进一步研究指出了有前途的新方向。
2022-09-21 cs.AI cs.RO cs.SY
Technical Report: Distribution Temporal Logic: Combining Correctness with Quality of Estimation
Boston University(波士顿大学)
本文提出分布时间逻辑(DTL),用于描述部分可观测系统中涉及不确定性和可能性的属性,提供了一种安全的公式化方法及监控算法,并通过救援机器人应用案例验证。
2013-09-09 cs.AI cs.LO cs.SY
Finite Memory Belief Approximation for Optimal Control in Partially Observable Markov Decision Processes
Hybrid Robotics Lab , University of California, Berkeley(混合机器人实验室,加州大学伯克利分校)
本文提出有限记忆信念近似在部分可观测马尔可夫决策过程中的应用,通过度量理论分析信息损失与控制性能的关系,并验证了在LQG系统中信念不匹配随记忆长度的指数衰减。
2026-01-06 cs.IT cs.LG cs.SY
Secure Control in Partially Observable Environments to Satisfy LTL Specifications
本文研究了在部分可观察环境中,在对手存在的情况下,必须满足时序逻辑规范的智能体的控制策略的合成。代理(防御者)与对手的相互作用被建模为部分可观察的随机博弈。我们的目标是生成一个防御者的政策,以最大限度地满足给定的时间逻辑规范下的任何对手的政策。搜索策略仅限于有限状态控制器的空间,这导致了一个易于处理的方法来确定策略。我们的规范达到(子集)经常性状态的马尔可夫链的满意度。我们提出了一个算法来确定一组防守者和对手的有限状态控制器的固定大小,将满足时序逻辑规范,并证明它是健全的。然后,我们提出了一个值迭代算法,以最大限度地满足时间逻辑规范下的有限状态控制器的固定大小的概率。最后,我们将此设置扩展到防御者的有限状态控制器的大小可以增加以提高满意度概率的情况。我们用一个例子来说明我们的方法。
2020-11-05 cs.CR cs.GT cs.LO