首页/论文/1807.09641

arXiv 1807.096412018-07-25eess.SYcs.LOcs.SY

基于部分探索的连续时间马尔可夫决策

Continuous-Time Markov Decisions based on Partial Exploration

Technical University of Munich（慕尼黑工业大学）；Saarland University（萨尔兰大学）

Pranav Ashok, Yuliya Butkova, Holger Hermanns, Jan Křetínský

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

AI总结：

本文提出一种加速连续时间马尔可夫决策过程时间有界可达性分析算法的框架，通过识别并分析子系统实现高效计算，验证了该方法在多个传统算法中的显著加速效果。

摘要：

我们提供了一个框架，用于加速连续时间马尔可夫决策过程的时间有界可达性分析算法。其原理是找到一个较小但几乎等价的子系统，并仅分析该子系统。候选子系统的识别通过模拟并迭代扩大，直到运行在子系统中被高概率表示。该框架因此与抽象细化方法相对。我们通过几种传统算法实例化该框架，并实验验证在许多情况下实现了数量级的加速。

英文摘要：

We provide a framework for speeding up algorithms for time-bounded reachability analysis of continuous-time Markov decision processes. The principle is to find a small, but almost equivalent subsystem of the original system and only analyse the subsystem. Candidates for the subsystem are identified through simulations and iteratively enlarged until runs are represented in the subsystem with high enough probability. The framework is thus dual to that of abstraction refinement. We instantiate the framework in several ways with several traditional algorithms and experimentally confirm orders-of-magnitude speed ups in many cases.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

关于核：马尔可夫决策过程的部分探索框架

Of Cores: A Partial-Exploration Framework for Markov Decision Processes

Technical University of Munich（慕尼黑工业大学）

提出一种基于部分探索的MDP近似分析框架，通过识别高概率停留的“核”子系统并避免无关计算，实现有界、无界及无限时域性质的高效分析，且支持严格误差界，适用于强连通系统。

2020-10-08cs.AIcs.LOcs.SY

在未知转移模型的确定性马尔可夫决策过程中实现高效且安全的探索

Efficient and Safe Exploration in Deterministic Markov Decision Processes with Unknown Transition Models

Stanford University（斯坦福大学）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）

本文提出了一种安全探索算法，通过利用Lipschitz连续性确保在探索过程中不访问危险状态，该算法在确定性马尔可夫决策过程中提供了确定性的安全保证，并通过模拟导航任务验证了其性能。

2019-04-01cs.AIcs.LGcs.RO

基于马尔可夫探索动力学的多机器人系统特征分布的概率一致性

Probabilistic Consensus on Feature Distribution for Multi-robot Systems with Markovian Exploration Dynamics

Arizona State University（亚利桑那州立大学）

在本文中，我们提出了一种基于共识的分散式多机器人方法来重建离散分布的功能，建模为占用网格地图，表示包含在一个有界的平面二维环境中的信息，如用于导航或语义标签与目标检测的视觉线索。机器人根据离散时间离散状态（DTDS）马尔可夫链建模的随机行走来探索环境，并使用分布式的DADFF融合协议，从它们自己的测量值和相邻机器人传达的估计值中估计特征分布。我们证明，在这种分散的融合协议，每个机器人的特征分布收敛到地面真理分布在几乎肯定的意义。我们在数值模拟中验证了这一结果，结果表明，对于每个机器人，估计和地面真实特征分布之间的Hellinger距离随着时间的推移收敛到零。我们还验证了我们的策略，通过软件在环（SITL）模拟的四旋翼搜索一组分布在一个离散化的圆上的视觉功能的有界正方形网格。

2022-04-27cs.MAcs.ROcs.SY

用你的PET玩游戏：将Partial Exploration Tool扩展至随机博弈

Playing Games with your PET: Extending the Partial Exploration Tool to Stochastic Games

Lancaster University（兰开斯特大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）

本研究推出PET 2.0版本，基于可靠值迭代统一框架新增随机博弈支持，覆盖三类目标的部分探索变体，实验证明其为随机博弈下最高效的部分探索算法，性能优于不可靠工具。

2024-05-13cs.AIcs.GTcs.SY

具有有限线性时序逻辑约束的部分可观测Markov决策过程的最优控制

Optimal Control of Partially Observable Markov Decision Processes with Finite Linear Temporal Logic Constraints

自治代理通常在状态被部分观察的情况下运行。除了最大化他们的累积回报，代理必须执行复杂的任务，具有丰富的时间和逻辑结构。这些任务可以使用时态逻辑语言来表达，如有限线性时态逻辑（LTL_f）。本文，第一次，提供了一个结构化的框架设计代理政策，最大限度地提高回报，同时确保满足时序逻辑规范的概率是足够高的。我们将该问题转化为一个受约束的部分可观测马尔可夫决策过程（POMDP），并提出了一种新的方法，该方法可以利用现成的无约束POMDP求解器来求解该问题，保证了近似最优性和高概率的约束满足。我们通过在几个感兴趣的模型上实现它来证明它的有效性。

2022-03-17cs.SYeess.SY

部分可观测马氏决策过程的Anderson加速

On Anderson acceleration for partially observable Markov decision processes

提出了一种离线近似求解部分可观测马尔可夫决策过程（POMDP）问题的加速方法。我们的方法仔细结合了两个现有的工具：安德森加速（AA）和快速通知边界（FIB）的方法。采用AA，我们的方法快速解决了一个近似Bellman方程与以前的解决方案估计的有效组合。此外，FIB的使用消除了POMDP中固有的可扩展性问题。我们证明了整个算法收敛到FIB得到的次优解。我们进一步考虑了基于模拟的方法，并证明了近似误差是有界的。我们的算法的性能进行评估的几个基准问题。我们的实验结果表明，该算法的收敛速度显着更快，而不会降低质量的解决方案相比，其标准的对应。

2021-03-29cs.SYeess.SY

更多相关论文收起更多论文

部分信息下两个相关Markov跳线性系统的分布镇定

Distributed Stabilization of Two Interdependent Markov Jump Linear Systems with Partial Information

本文研究了两个具有部分信息的Markov跳线性系统（MJLS）的镇定问题，其中一个系统的模式转移依赖于另一个系统的状态，从而产生相互依赖性.首先，我们制定了一个框架，两个相互依赖的MJLS捕捉系统中的各种实体之间的相互作用，系统的模式不能直接观察。相反，可以获得包含模式信息的信号。然后，根据可用的系统状态信息（全球或本地）的范围，我们设计集中式和分布式控制器，分别，可以随机稳定的整体相互依赖的MJLS。此外，在这两种信息结构下，系统的充分稳定性条件的推导。最后，我们提供了一个数值例子来说明所设计的控制器的有效性。

2020-05-22cs.SYeess.SY

基于隐马尔可夫模型估计的Q学习：部分可观测马尔可夫决策过程

Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process

Department of Industrial and Enterprise Systems Engineering（工业与企业系统工程系）

本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法，用于部分可观测马尔可夫决策过程，同时估计POMDP参数和Q函数，并证明其收敛性。

2018-09-24cs.LGcs.SYeess.SY

熵正则化的部分可观测马尔可夫决策过程

Entropy-Regularized Partially Observed Markov Decision Processes

University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）

本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。

2023-02-04cs.AIcs.ITcs.SY

基于特征的部分可观测马尔可夫决策问题的信念聚合方法

Feature-Based Belief Aggregation for Partially Observable Markov Decision Problems

本文针对无限时域折扣代价的有限状态POMDP，提出基于特征状态聚合与代表性信念的两阶段聚合方法，将其转化为可动态规划求解的MDP，用于值空间在线近似，并推导了近似误差界、下界条件及有偏聚合改进方法。

2025-07-07cs.SYeess.SY

有限模型近似用于带有折扣成本的部分观察马尔可夫决策过程

Finite Model Approximations for Partially Observed Markov Decision Processes with Discounted Cost

Ozyegin University（奥兹耶金大学）；Queen’s University（女王大学）

本文研究了部分观察马尔可夫决策过程在折扣成本下的有限模型近似方法，通过统一量化信念空间中的状态和动作空间，提出近似策略在信念空间MDP中近似最优，从而解决原始部分观察问题。

2017-10-19cs.SYeess.SYmath.OC

基于部分可观测马尔可夫决策过程的约束主动分类

Constrained Active Classification Using Partially Observable Markov Decision Processes

在这项工作中，我们研究的问题，积极分类的动力系统的属性，其特征在于作为一个有限集的马尔可夫决策过程（MDP）模型。我们感兴趣的是找到积极与动力系统相互作用的策略，并观察其反应，以便以高置信度有效地对感兴趣的属性进行分类。我们提出了一个基于部分可观测马尔可夫决策过程（POMDPs）的决策理论框架。所提出的框架依赖于分配一个分类信念（概率分布）的属性感兴趣。给定一个初始的信念，一个置信水平，可以作出分类决策，成本约束，安全的信念集，和一个有限的时间范围内，我们计算POMDP战略导致分类决策。我们提出了三种不同的算法来计算这样的策略。第一种算法通过数值迭代精确计算最优策略。为了克服计算精确解的计算复杂性，我们提出了第二种算法的基础上自适应采样和第三个基于蒙特卡洛树搜索近似的最佳概率达到分类决策。我们举例说明所提出的方法，从医疗诊断，安全监测和野生动物分类。

2023-01-05cs.SYeess.SY

预算有限的部分可观测Markov决策过程的在线主动感知

Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget

University of Texas at Austin（德克萨斯大学奥斯汀分校）

主动感知策略使智能体能够有选择地收集信息，以提高其性能。在应用程序中，代理不具有现有的信息源的先验知识，它是至关重要的综合主动感知策略在运行时。我们认为，在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下，部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略，选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明，所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。

2019-10-04cs.AIcs.SYeess.SY

带有边信息的部分可观测线性系统的最小速率：LQG 装置与高斯-马尔可夫源

Minimum Rate For Partially Observable Linear System with Side Information: LQG Plant and Gaussian-Markov Source

University of Texas at Austin（德克萨斯大学奥斯汀分校）

本文针对带边信息的部分可观测线性系统，以LQG装置与高斯-马尔可夫源为对象，证明线性策略可优化条件定向信息下界，对应标量情况的优化问题为凸，结果推广了过往相关研究，数值仿真验证了边信息的作用。

2026-09-10cs.ITcs.SYeess.SY

受逻辑约束的部分可观测多智能体马尔可夫决策过程的最优控制

Optimal Control of Logically Constrained Partially Observable and Multi-Agent Markov Decision Processes

University of Southern California（南加州大学）；University of New Mexico（新墨西哥大学）

针对自主系统的逻辑约束、部分可观测性及多智能体信息不对称问题，提出带有限线性时序逻辑约束的POMDP最优控制理论与多智能体框架，可合成兼顾高奖励与约束满足概率的策略，经案例验证有效。

2024-06-19cs.AIcs.FLcs.SY

基于条件熵的部分观测马尔可夫决策过程主动轨迹估计

Active Trajectory Estimation for Partially Observed Markov Decision Processes via Conditional Entropy

在本文中，我们考虑的问题，控制部分可观察的马尔可夫决策过程（POMDP），以积极估计其状态轨迹在一个固定的水平线与最小的不确定性。我们提出了一种新的主动平滑问题，其目标是直接最小化平滑熵，即条件熵的（联合）状态轨迹分布的关注在固定区间贝叶斯平滑。我们的配方与以前的积极的方法，最小化的条件熵的贝叶斯滤波器提供的（边际）状态估计的总和。通过建立一种新的形式的平滑熵的POMDP的信念（或信息）状态，我们表明，我们的主动平滑问题可以重新表述为一个（完全观察到的）马尔可夫决策过程的价值函数，是凹的信念状态。的值函数的插值是特别重要的，因为它使我们的主动平滑问题的近似解使用分段线性函数近似与标准POMDP求解器。我们说明了我们的主动平滑问题的近似解决方案在模拟和比较其性能的替代方法的基础上最小化边际状态估计的不确定性。

2021-04-04cs.ITcs.SYeess.SY